逻辑回归

1、基本定义

假设数据服从伯努利分布，通过极大似然函数的方法，运用梯度下降法训练参数，最终达到二分类的目的。

2、逻辑回归的求解方法

梯度下降法三种：批梯度下降法（BGD）、随机梯度下降法（SGD）、小批量（MBGD）梯度下降法。

批梯度下降法每次参数更新都用到所有训练数据。优点是能得到全局最优解，缺点是当数据量很大时训练速度慢。

随机梯度下降法每次参数更新用到一个样本。优点是能调到新的潜在局部最优解；缺点是噪音较BGD多，不是每次迭代都向着整体最优的方向。

小批量梯度下降法每次参数更新用到小批量的样本（比如10个）。结合了BGD和SGD的优点，减少了参数更新的次数，可以达到更稳定收敛。

3、逻辑回归优缺点

优点：模型的训练速度快，可解释性好。

缺点：模型的准确率不是很高，很难处理数据不平衡问题（即正负样本比例较悬殊的情况），只能处理线性可分的数据。