在上一章节中,我们介绍了什么是逻辑回归,以及如何基于最大似然的思想使用梯度下降法求解逻辑回归参数 θ 。在本章节中,将介绍使用另一种方法,牛顿法求解逻辑回归参数,并给出代码演示。
1.1牛顿法求解方程根
考虑牛顿法在求解方程 f(θ)=0 时的用法。牛顿法在求解方程根时,主要是根据泰勒展示式进行迭代求解的。
假设 f(x)=0 有近似根 xk ,那么 f(x) 在点 xk 处的泰勒展开式表示为,
f(x)≈f(xk)+f′(xk)(x−xk)
令 f(x)=0 有, f(xk)+f′(xk)(x−xk)=0 ,求解得到 xk+1
xk+1=xk−f(xk)f′(xk)
利用该公式可以迭代求解