1. 牛顿法求解方程的零点
利用牛顿法可以迭代求解方程的根:
首先利用泰勒公式,在处进行一阶展开
欲求解方程的根,即令,可得:
通过上述等式,进一步求解处下一个迭代步的临近点
迭代求解公式:
2. 牛顿法求解最优化问题
欲求解的根,需要将在目标点处二阶泰勒展开:
由于需要求解的根,所以需要对上式进行求导:
最终类似于求解方程零点,推导出牛顿法求解最优化问题的迭代公式:
3. 牛顿法求解高维优化问题
其中H表示海塞矩阵,表示的梯度
利用牛顿法可以迭代求解方程的根:
首先利用泰勒公式,在处进行一阶展开
欲求解方程的根,即令,可得:
通过上述等式,进一步求解处下一个迭代步的临近点
迭代求解公式:
欲求解的根,需要将在目标点处二阶泰勒展开:
由于需要求解的根,所以需要对上式进行求导:
最终类似于求解方程零点,推导出牛顿法求解最优化问题的迭代公式:
其中H表示海塞矩阵,表示的梯度