本文介绍了牛顿法及其在高维数据中的问题，随后详细探讨了拟牛顿法，包括DFP算法、BFGS算法和Broyden类算法的原理和迭代公式。通过实例和矩阵运算展示了这些方法如何近似求解Hessian矩阵的逆，为解决高维度优化问题提供了有效途径。
全部笔记的汇总贴：统计学习方法读书笔记汇总贴
一、牛顿法
存在的几个问题：
- H − 1 H^{-1} H−1不存在，导致（4）无意义；
- H − 1 H^{-1} H−1存在但不正定，导致 f k + 1 ≥ f k f_{k+1}\ge f_k fk+1≥fk
- H − 1 H^{-1} H−1存在且正定，但若 p k p_k pk很大，由（5）可知，不能保证 f k + 1 < f k f_{k+1}< f_k fk+1<fk
给个例子：
和上一节的例子一样，我们用牛顿法求解。
f ( x ) = 1 2 x 1 2 + 1 2 x 2 2 + 1 2 x 3 2 , x 0 = [ 1 , 1 , 1 ] T , 求 min [ f ( x ) ] f(x)=\frac12x^2_1+\frac12x^2_2+\frac12x^2_3,x_0=[1,1,1]^T,求\min[f(x)] f(x)=21x12+21x22+21x32,x0=[1,1,1]T,求min[f(x)]
解： f ( x ) = f ( x 1 , x 2 , x 3 ) = 1 2 x 1 2 + 1 2 x 2 2 + 1 2 x 3 2 f(x)=f(x_1,x_2,x_3)=\frac12x^2_1+\frac12x^2_2+\frac12x^2_3 f(x)=f(x1,x2,x3)=21x12+21x22+21x32
g ( x ) = ( x 1 , x 2 , x 3 ) T ∇ 2 f ( x ) = ( 1 0 0 0 1 0 0 0 1 ) g(x)=(x_1,x_2,x_3)^T\;\;\;\;\;\;\nabla^2f(x) =\begin{pmatrix} 1 & 0 & 0 \\ 0& 1& 0 \\ 0 & 0 & 1 \end{pmatrix} g(x)=(x1,x2,x3)T∇2f(x)=⎝⎛100010001⎠⎞
x 0 = ( 1 , 1 , 1 ) T f 0 = f ( x 0 ) = 1.5 x_0=(1,1,1)^T\;\;\;\;\;\;f_0=f(x_0)=1.5 x0=(1,1,1)T
最低0.47元/天 解锁文章
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
