基础算法2：逻辑回归相关

一、Logistic回归损失函数的极大似然推导：西瓜书公式3.27怎么推来的？

二、Logistic回归损失函数的最优化算法：什么是牛顿法、拟牛顿法？

答：

牛顿法

假设我们求下面函数的最小值：

假设f(x)具有连续的二阶的连续偏导数，假设第K次迭代值为xk的值，那么可将f(X)在xk附近进行二阶泰勒展开得到：

我们对上述公式求导可得:

假设其中可逆，我们就可以得到牛顿法的迭代公式为：

这样就可以得到牛顿法的迭代公式了。
牛顿法算法如下：
输入：目标函数f(X)，梯度▽f(x),海赛矩阵H(x),精度要求ε；
输出：f(x)的极小点x*.
步骤一：取初始点x0,置k=0
步骤二：计算梯度▽f(x)
步骤三：||▽f(x)||〈ε，那么停止计算得到的x*=xk。
步骤四：计算H(x)
步骤五：

步骤6：转步骤二
牛顿法的缺点：牛顿法收敛速度快,但是要计算二阶偏导数矩阵及其逆阵,计算量过大。

二 拟牛顿法

拟牛顿法与原始牛顿法的区别在于增加了沿牛顿方向的一维搜索，其迭代公式为：

其实牛顿法就是阻尼牛顿法步长为1的特殊情况。
拟牛顿法算法：
输入：目标函数f(X)，梯度▽f(x),海赛矩阵H(x),精度要求ε；
输出：f(x)的极小点x*.
步骤一：取初始点x0,置k=0
步骤二：计算梯度▽f(x)
步骤三：||▽f(x)||〈ε，那么停止计算得到的x*=xk。
步骤四：计算H(x)
步骤五：从xk出发，沿着dk方向作一维搜索，

步骤六：

步骤七：转步骤二

参考来源：http://www.cnblogs.com/xiaohuahua108/p/6011105.html

三、为什么不用线性回归做分类？

答：对于分类问
题，我们希望输出值是标签为离散值0或者1，但当用线性回归做分类问题时，预测值y的输出会远大于1或者小于0；使用逻辑回归来处理分类问题，逻辑回归可以使输出值介于0和1之间，虽然逻辑回归有“回归”字眼，但它实际上是分类算法。

四、Logistic回归为什么不像线性回归那样用平方损失函数？

答：因为逻辑回归的假设函数是xxx,如果使用平方损失函数，会使得代价函数变成参数为threa的非凸函数，这会使得我们有很多个局部最优点，无法找到全局最优点；且如果在平方损失函数上使用梯度下降法，无法保证可以收敛至全局最小值；我们希望我们找到的代价函数是一个凸函数，因为对这样的代价函数使用梯度下降法，我们可以保证梯度下降法可以收敛至该函数的全局最小值。

五、Logistic回归的参数为什么不像线性回归那样直接公式求解？

答：因为Logistic回归的损失函数本身无法推导出w和b的解析解，只能通过最优化算法去近似求解

六、Logistic回归与线性回归有哪些联系？

答：逻辑回归与线性回归都属于广义线性回归模型
其区别与联系如下：（当然肯定还有更多其他的，后续学到更多再补充）
1、回归模型就是预测一个连续变量(如降水量，价格等)。在分类问题中，预测属于某类的概率，可以看成回归问题。这可以说是使用回归算法的分类方法。
2、输出:直接使用线性回归的输出作为概率是有问题的，因为其值有可能小于0或者大于1,这是不符合实际情况的，而逻辑回归的输出是在[0,1]区间。