Logistic回归：牛顿迭代法

Logistic回归与牛顿迭代法

很早之前介绍过《无约束的最优方法》里面介绍了梯度下降法和牛顿迭代法等优化算法。

同时大家对于Logistic回归中的梯度下降法更为熟悉，而牛顿迭代法对数学要求更高，所以这里介绍如何在Logistic回归问题中使用牛顿迭代法。

似然函数与代价函数

似然函数则是

$$L(\omega) = \Pi_{i=1}^m[g(x_i)]^{y_i}[1-g(x_i)]^{1-y_i}$$

然后我们的目标是求出使这一似然函数的值最大的参数，最大似然估计就是求出参数.

对上式两边取log或者ln就可以得到熟悉的代价函数了。

$$lnL(\omega)=\sum_{i=1}^m[y_iln(g(x_i))+(1-y_i)(1-g(x_i))] \\ = \sum_{i=1}^m(y_i·ln{e^x_i\over e^x_i+1}+(1-y_i)·ln{1\over e^x_i+1}) \\ = \sum_{i=1}^m(x_iy_i-ln(1+e^x_i))$$

其中$x_i=\omega_0+\omega_1x_i1+\omega_2x_i2+...+\omega_nx_in$。现在求向量$\omega = (\omega_0, \omega_1, \omega_2, ..., \omega_n)$使得$L(\omega)$

偏导函数为

∂ln(L(ω))∂