Logistic回归

【任务2】

1. Logistic回归损失函数的极大似然推导：西瓜书公式3.27怎么推来的？
2. Logistic回归损失函数的最优化算法：什么是牛顿法、拟牛顿法？
3. 为什么不用线性回归做分类？
4. Logistic回归为什么不像线性回归那样用平方损失函数？
5. Logistic回归的参数为什么不像线性回归那样直接公式求解？
6. Logistic回归与线性回归有哪些联系？

---

1、西瓜书公式3.7的推导

参考：https://blog.csdn.net/qq_21950671/article/details/81514922

2、损失函数的最优化算法

  2.1、牛顿法

牛顿法是一种在实数域和复数域上近似求解方程的方法。方法使用函数f (x)的泰勒级数的前面几项来寻找方程f (x) = 0的根。牛顿法最大的特点就在于它的收敛速度很快。

首先，选择一个接近函数 f (x)零点的 x0，计算相应的 f (x0) 和切线斜率f  ' (x0)（这里f ' 表示函数 f  的导数）。然后我们计算穿过点(x0,  f  (x0)) 并且斜率为f '(x0)的直线和 x 轴的交点的x坐标，也就是求如下方程的解：

我们将新求得的点的 x 坐标命名为x1&