《非线性优化——牛顿法》

Newton，牛顿法非线性优化

---

概述

• 用于非线性目标函数优化，寻找非线性函数的极小值，及取最小值的参数
• 用于方程求解
• 核心思想：泰勒一阶和二阶展开
• 搜索方向$-\frac{1}{H(k)}$

推导

一维函数泰勒展开

• 目标函数一阶泰勒展开
  $$F(x_0+△x)\approx F(x_0)+F^{\prime }(x_0)△x+\frac{1}{2}{F}^{\prime \prime }(x_0)△x^2$$

• 求取函数$F(x_0+△x)$的极值，求导，导数为0

$$x-x_0=△x=-\frac{f^{\prime }{x}_0}{f^{\prime \prime }{x}_0}$$

• 一维目标函数取导数，在$x_0$导数为0，取极值

$$x-x_0=△x=-\frac{f^{\prime }{x}_0}{f^{\prime \prime }{x}_0}$$

二维函数泰勒展开

• 目标函数二阶泰勒展开
  $$F(x_0+△x)\approx F(x_0)+J(x_0{)}^T△x+\frac{1}{2}△x^{T}H(x_0)△x$$

• 雅可比矩阵

$$J=\left[\begin{array}{c}\frac{\partial y_1}{x_1}...\frac{\partial y_1}{x_n}\\ ...\\ \frac{\partial y_m}{x_1}...\frac{\partial y_m}{x_n}\end{array}\right]$$

• Hessian矩阵
  • 黑塞矩阵、海森矩阵
  • 用于描述函数的局部曲率，常用于牛顿法解决优化问题
  • 对称性，函数f二阶连续可导

$$H=J{J}^T=\left[\begin{array}{c}\frac{{\partial }^{2}f}{x_1^2}...\frac{{\partial }^{2}f}{x_1{x}_n}\\ ...\\ \frac{{\partial }^{2}f}{x_n{x}_1}...\frac{{\partial }^{2}f}{x_n^2}\end{array}\right]$$

• 二维目标函数取导数，在$x_0$导数为0，取极值

$$x-x_0=△x=-H(x_0)\nabla f_{x0}$$

应用

一元非线性方程

• $f(x)=x^2-7x+12=0$
• 一阶泰勒展开$x=x_0-\frac{F(x_0)}{F^{\prime }(x_0)}$

def cal_equation1():
    def func(x):
        return x**2 - 7 * x +12
    def derivation(x):
        return 2 * x - 7
    x0 = 5
    while abs(func(x0)) > 1e-5:
        x = x0 - func(x0) / derivation(x0)
        x0 = x
    print(x0)

多元方程组

• 多元方程组

$$\{\begin{array}{l}{x}^2+2y+3z-14=0\\ x+y^2+3z-14=0\\ x+2y+z^2-14=0\end{array}$$

• 一阶泰勒展开

    def func(x):
        return np.matrix([
            [x[0][0]**2 + 2 * x[1][0] + 3 * x[2][0] - 14],
            [x[0][0] + x[1][0]**2 + 3 * x[2][0] - 14],
            [x[0][0] + 2 * x[1][0] + x[2][0]**2 - 14]
        ])
    def jacobi(x):
        return np.matrix([
            [2*x[0][0], 2, 3],
            [1, 2*x[1][0], 3],
            [1, 2, 2 * x[2][0]]
        ])
    x0 = np.ones((3, 1))
    while not all(abs(func(x0))) < 1e-5:
        x = x0 - jacobi(x0).I * func(x0)
        x0 = x.A
    print(x0)

目标函数极值

• 目标函数f(x,y)=2x^2-2xy+y^2-2x

    def func(x,y):
        return 2*x**2 - 2*x*y + y**2 - 2*x

    def gradient(x):
        return np.matrix([
            [4*x[0][0] - 2*x[1][0]-2],
            [-2*x[0][0] + 2*x[1][0]]
        ])

    def hessian(x):
        return np.matrix([
            [4, -2],
            [-2, 2]
        ])

    x0 = 10 * np.ones((2,1))
    while not all (abs(gradient(x0)) < 1e-5):
        x = x0 - hessian(x0).I * gradient(x0)
        x0 = x.A
    print("极值为:", x0)