算法基础梳理——Logistic回归

【学习任务】

1. Logistic回归损失函数的极大似然推导：西瓜书公式3.27怎么推来的？
2. Logistic回归损失函数的最优化算法：什么是牛顿法、拟牛顿法？
3. 为什么不用线性回归做分类？
4. Logistic回归为什么不像线性回归那样用平方损失函数？
5. Logistic回归的参数为什么不像线性回归那样直接公式求解？
6. Logistic回归与线性回归有哪些联系？

1.Logistic回归损失函数的极大似然推导：
2.Logistic回归损失函数的最优化算法：什么是牛顿法、拟牛顿法？

牛顿法：牛顿法是一种在实数域和复数域上近似求解方程的方法。方法使用函数f (x)的泰勒级数的前面几项来寻找方程f (x) = 0的根。牛顿法最大的特点就在于它的收敛速度很快。
优点：二阶收敛，收敛速度快；
缺点：牛顿法是一种迭代算法，每一步都需要求解目标函数的Hessian矩阵的逆矩阵，计算比较复杂。
拟牛顿法：本质思想是改善牛顿法每次需要求解复杂的Hessian矩阵的逆矩阵的缺陷，它使用正定矩阵来近似Hessian矩阵的逆，从而简化了运算的复杂度。

3.为什么不用线性回归做分类？
线性回归要求因变量服从正态分布，且因变量是连续的。

4.Logistic回归为什么不像线性回归那样用平方损失函数？
logistic的损失函数使用的是对数损失函数。

5.Logistic回归的参数为什么不像线性回归那样直接公式求解？
logistic回归似然函数的偏导数为非线性函数，参数估计需用非线性方程组的数值法求解。

6.Logistic回归与线性回归有哪些联系？
Logistic回归是从线性回归的基础上衍生而来的。Logistic回归是线性回归中y的变种形式。都属于广义线性模型家族。