机器学习要点理解（二、逻辑回归）

1. 逻辑回归是做分类任务的，是在线性回归的基础上加上例如sigmoid函数，是的取值从[-∞, +∞]变为[0,1]。并按照区间进行分类。

2. sigmoid函数$$S(t)=\frac{1}{1+e^{-t}}$$

3. 逻辑回归的函数：对数似然函数，同样是按照梯度下降法，最小化损失函数得到模型参数。$$S(t)=-y\ast \log (p)-(1-y)\ast \log (1-p)$$

4. 逻辑回归多分类问题：由二分类转化为多分类问题，可以在二分类的基础上，多次二分类得到多分类问题的解答方法。

5. 逻辑回归的优点：以概率的形式输出结果；解释性强。

6. 优化方法的分类：一阶方法和二阶方法。
   6.1 一阶方法： 梯度下降、随机梯度下降、mini 随机梯度下降降法。
   6.2 二阶方法：牛顿法，拟牛顿法。
   牛顿法：其实就是过曲线上一点$(x_i,y_i)$与曲线作切线，切线与x轴的交点作为新的$x_{i+1}$不断更新切线的位置，直到达到曲线与x轴的交点得到方程解。当目标函数是二次函数时，海塞矩阵退化成一个常数矩阵，从任一初始点出发，牛顿法可一步到达，因此它是一种具有二次收敛性的算法。
   缺点：牛顿法是定长迭代，没有步长因子，所以不能保证函数值稳定的下降，严重时甚至会失败。还有就是牛顿法要求函数一定是二阶可导的。而且计算Hessian矩阵的逆复杂度很大。
   拟牛顿法：不用二阶偏导而是构造出Hessian矩阵的近似正定对称矩阵的方法称为拟牛顿法。拟牛顿法的思路就是用一个特别的表达形式来模拟Hessian矩阵或者是他的逆使得表达式满足拟牛顿条件。
   知乎详细介绍

7. 特征离散化：
   7.1 相当引入了非线性，提升了模型的表达能力，加大拟合。
   7.2 稀疏向量内积乘法运算速度快，计算结果方便存储，容易扩展。
   7.3 离散化后的特征对异常数据有很强的鲁棒性。
   7.4 方便交叉与特征组合。
   7.5 特征离散化后，模型会更稳定。
   7.6 特征离散化以后，起到了简化了逻辑回归模型的作用，降低了模型过拟合的风险。