机器学习：逻辑回归

一句话概括逻辑回归：

    逻辑回归假设数据服从伯努利分布，通过极大化似然函数的方法，运用梯度下降来求解参数，达到将数据二分类的目的。

原理：

有一组特征变量：，表示为x，

一组参数：，表示为θ，

，表示为，值域为（－∞，﹢∞）。

将值域归到0~1之间，则可以符合概率的值域：

现有一组样本：

极大似然函数：

极大似然函数再取对数，变成对数损失函数，对数损失函数是连续可导的凸函数，可以用梯度下降求解。

特点：

很多特征高度相关，不会影响效果，但去掉高相关特征可解释性更强，还可提高训练速度。

优点：形式简单，可解释性强，训练快，内存小。

缺点：复杂的数据分布、非线性、多分类、数据不平衡效果都不好