[博学谷学习记录] 超强总结，用心分享|人工智能机器学习逻辑回归知识复习总结分享

1.1 回归的种类

依据因变量不同，广义线性模型可以有如下划分

　　(1)如果是连续的，就是多重线性回归。

(2)如果服从二项分布，就是逻辑回归。

　　(3)如果服从泊松(Poisson.)分布，就是泊松回归。

　　(4)如果服从负二项分布，就是负二项回归。

(5)逻辑回归的因变量可以是二分类的，也可以是多分类的，但是二分类的更常也更容易解释。所以实际中最常用的就是二分类的逻辑回归。

1.2 逻辑回归是什么

逻辑回归假设数据服从*伯努利分布,*通过极大化似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的。

1.3 逻辑回归基本假设

假设数据服从伯努利分布；假设正类的概率是由sigmoid函数计算；

逻辑回归的损失函数是它的极大似然函数，

1.4 逻辑回归为什么用极大似然估计？

极大似然估计就是利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值（模型已定，参数未知）。

平方损失函数加上sigmoid函数会是一个非凸的函数，不易求解，会得到局部解，用对数似然函数得到高阶连续可导凸函数，可以得到最优解。

其次，是因为对数损失函数更新起来很快，因为只和x，y有关，和sigmoid本身的梯度无关。

1.5 逻辑回归在训练的过程当中，如果有很多的特征高度相关，会有什么影响？为什么要将高度相关的特征剔除？

结论：在损失函数最终收敛的条件下，特征高度相关不会影响分类效果。

但是对特征本身来说的话，假设只有一个特征，在不考虑采样的情况下，你现在将它重复100遍。训练以后完以后，数据还是这么多，但是这个特征本身重复了100遍，实质上将原来的特征分成了100份，每一个特征都是原来特征权重值的百分之一。

如果在随机采样的情况下，其实训练收敛完以后，还是可以认为这100个特征和原来那一个特征扮演的效果一样，只是可能中间很多特征的值正负相消了。

虽然高度相关特征对模型结果没什么大的影响，但还是要剔除相关性高的特征，原因是一个可以减少特征数量，提高模型的训练速度，减少过拟合的风险。二是去掉高相关特征可以让模型的可解释性更好。尤其在做评分卡时，为了使最后每个特征的系数符号一致，必须做特征相关性筛选。