组队学习Task01：数学基础

前言

终于抢到八月份Datawhale的组队学习内容，这一月的项目都很吸引人，挑来挑去选择了集成学习这一模块，希望可以与一群小伙伴们一起学到知识，以下是task1的学习笔记，参考内容为Datawhale集成学习开源教程。

梯度向量

表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向变化最快，变化率最大。

定义：设二元函数 $z=f(x,y)$ 在平面区域D上具有一阶连续偏导数，则对于每一个点P（x, y）都可定出一个向量 $\left\{\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}\right\}=f_x(x,y)\bar{i}+f_y(x,y)\bar{j},$ 该函数就称为函数 $z=f(x,y)$ 在点P $(\mathrm{x},\mathrm{y})$ 的梯度，记作gradf $(\mathrm{x},\mathrm{y})$ 或$\nabla f(x,y)$,即有:
$$\mathrm{gradf}(\mathrm{x},\mathrm{y})=\nabla f(x,y)=\left\{\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}\right\}=f_x(x,y)\bar{i}+f_y(x,y)\bar{j}$$
其中 $\nabla =\frac{\partial }{\partial x}\bar{i}+\frac{\partial }{\partial y}\bar{j}$ 称为（二维的）向量微分算子或Nabla算子, $\nabla f=\frac{\partial f}{\partial x}\bar{i}+\frac{\partial f}{\partial y}\bar{j}$ 。

举一个栗子：
计算$f(x,y)=x^2+y^2$的梯度向量

雅克比矩阵

假设 $F:{\mathbb{R}}_n\to {\mathbb{R}}_m$ 是一个从n维欧氏空间映射到到m维欧氏空间的函数。
这个函数由m个实函数组成:
$y_1\left(x_1,\cdots ,x_n\right),\cdots ,y_m\left(x_1,\cdots ,x_n\right)$ 。这些函数的偏导数(如果存在)可以组成一个m行n列的矩阵，这个矩阵就是所谓的雅可比矩阵:
$$\left[\begin{array}{ccc}\frac{\partial y_1}{\partial x_1}& \cdots & \frac{\partial y_1}{\partial x_n}\\ ⋮& \ddots & ⋮\\ \frac{\partial y_m}{\partial x_1}& \cdots & \frac{\partial y_m}{\partial x_n}\end{array}\right]$$
举一个栗子：
求$F=(f_1(x,y),f_{(}x,y){)}^T$的雅克比矩阵，其中$f_1(x,y)=2x^2+y^2,f_2(x,y)=x^2+3y^2$

海森矩阵

海森矩阵是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵，假有一实数函数
$$f\left(x_1,x_2,\dots ,x_n\right)$$
如果 $f$ 所有的二阶偏导数都存在，那么 $f$ 的海森矩阵的第 $ij$ 项，即：
$$H(f{)}_{ij}(x)=D_i{D}_{j}f(x)$$
其中 $x=\left(x_1,x_2,\dots ,x_n\right),$ 即
$$H(f)=\left[\begin{array}{cccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}& \cdots & \frac{{\partial }^{2}f}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f}{\partial x_n\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_n^2}\end{array}\right]$$
也就是雅克比矩阵的导数就是海森矩阵。
举一个栗子：
求$f(x,y)=2x^2+y^2$的海森矩阵

有了以上的基础，接下来为函数的极值问题。

函数的极值与最值

极值：设函数 $f(x)$ 在点 $x_0$ 的某邻域 $U\left(x_0\right)$ 内有定义，如果对于去心邻域U $\left(x_0\right)$ 内的任一 $x$, 有 A
$$f(x)<f\left(x_0\right)\text{ 或 }f(x)>f\left(x_0\right)$$
那么就称 $f\left(x_0\right)$ 是函数的一个极大值或极小值。函数的极大值和极小值统称为函数的极值, 使函数取得极值的点被称作极值点。
最值是函数在其定义域内取得最大值（或最小值）的点的函数值。极值是局部性的概念，而最值是全局性的概念。

最优性条件

一元函数

设函数 $f(x)$ 在 $x_0$ 处具有二阶导数且 $f^{\prime }\left(x_0\right)=0,f^{\prime \prime }\left(x_0\right)\ne 0$ 那么：
(1) 当 $f^{\prime \prime }\left(x_0\right)<0$ 时，函数 $f(x)$ 在 $x_0$ 处取得极大值；
(2) 当 $f^{\prime \prime }\left(x_0\right)>0$ 时，函数 $f(x)$ 在 $x_0$ 处取得极小值。

多元函数

设n多元实函数 $f\left(x_1,x_2,\cdots ,x_n\right)$ 在点 $M_0\left(a_1,a_2,\dots ,a_n\right)$ 的邻域内有二阶连续偏导，若有:
$${\frac{\partial f}{\partial x_j}|}_{\left(a_1,a_2,\dots ,a_n\right)}=0,j=1,2,\dots ,n$$
并且
$$A=\left[\begin{array}{cccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}& \cdots & \frac{{\partial }^{2}f}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f}{\partial x_n\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_n^2}\end{array}\right]$$
则有如下结果:
(1) 当A正定矩阵时, $f\left(x_1,x_2,\cdots ,x_n\right)$ 在 $M_0\left(a_1,a_2,\dots ,a_n\right)$ 处是极小值;
(2) 当A负定矩阵时, $f\left(x_1,x_2,\cdots ,x_n\right)$ 在 $M_0\left(a_1,a_2,\dots ,a_n\right)$ 处是极大值;
(3) 当A不定矩阵时, $M_0\left(a_1,a_2,\dots ,a_n\right)$ 不是极值点。
(4) 当A为半正定矩阵或半负定矩阵时, $M_0\left(a_1,a_2,\dots ,a_n\right)$ 是“可疑"极值点，尚需要利用其他方法来判定。
举一个栗子：
求三元函数 $f(x,y,z)=x^2+y^2+z^2+2x+4y-6z$ 的极值

基于梯度的优化方法–梯度下降法

代码：

import numpy as np
import matplotlib.pyplot as plt

# 定义开方函数
def f(x):
    return np.power(x, 2)
# 定义求导方式
def d_f(f, x, delta=1e-4):
    return (f(x+delta) - f(x-delta)) / (2 * delta)
# 绘图    
xs = np.arange(-10, 11)
plt.plot(xs, f(xs))

learning_rate = 0.1   # 学习率
max_loop = 30        # 迭代数

x_init = 10.0     # 初始值
x = x_init
lr = 0.1
x_list = []
# 不断迭代直到找到最小值
for i in range(max_loop):
    d_f_x = d_f(f, x)
    x = x - learning_rate * d_f_x
    x_list.append(x)
x_list = np.array(x_list)
plt.scatter(x_list,f(x_list),c="r")
plt.show()

print('initial x =', x_init)
print('arg min f(x) of x =', x)
print('f(x) =', f(x))

基于梯度的优化方法–牛顿迭代法

• 牛顿法是求解函数值为0时的自变量取值的方法。
• 利用牛顿法求解目标函数的最小值其实是转化成求使目标函数的一阶导为0的参数值。
• 迭代过程是在当前位置x0求该函数的切线，该切线和x轴的交点x1，作为新的x0,重复这个过程，直到交点和函数的零点重合。

迭代的公式如下:
$$\theta :=\theta -\alpha \frac{{\ell }^{\prime }(\theta )}{{\ell }^{\prime \prime }(\theta )}$$
当$\theta$是向量时, 牛顿法可以使用下面式子表示:
$$\theta :=\theta -\alpha H^{-1}{\nabla }_{\theta }\ell (\theta )$$
其中$H$叫做海森矩阵，其实就是目标函数对参数$\theta$的二阶导数。

牛顿法和梯度下降法的比较

1.牛顿法：

• 通过求解目标函数的一阶导数为0时的参数，进而求出目标函数最小值时的参数。
• 收敛速度很快。
• 海森矩阵的逆在迭代过程中不断减小，可以起到逐步减小步长的效果。
• 缺点：海森矩阵的逆计算复杂，代价比较大，因此有了拟牛顿法。

2.梯度下降法：

• 通过梯度方向和步长，直接求解目标函数的最小值时的参数。
• 越接近最优值时，步长应该不断减小，否则会在最优值附近来回震荡。

举一个栗子：
使用梯度下降和牛顿法寻找Rosenbrock函数最小值
定义Rosenbrock函数：
$$f(x,y)=(a-x{)}^2+b(y-x^2{)}^2$$
这里将a取值为1，b取值为100，即：
$$f(x,y)=(1-x{)}^2+100(y-x^2{)}^2$$
函数图像及代码：

import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D

fig = plt.figure()
ax = Axes3D(fig)
x = np.arange(-50, 50, 1)
y = np.arange(-50, 50, 1)
x, y = np.meshgrid(x, y)

a=1
b=100
f = np.square(a-x) + b*np.square(y-x**2) # 函数
ax.plot_surface(x, y, f, rstride=1, cstride=1, cmap='rainbow')
plt.show()

牛顿法求最小值代码：

def f(x, y):
    return (1 - x) ** 2 + 100 * (y - x * x) ** 2


def H(x, y):
    return np.matrix([[1200 * x * x - 400 * y + 2, -400 * x],
                      [-400 * x, 200]])


def grad(x, y):
    return np.matrix([[2 * x - 2 + 400 * x * (x * x - y)],
                      [200 * (y - x * x)]])


def delta_newton(x, y):
    alpha = 1.0
    delta = alpha * H(x, y).I * grad(x, y)
    return delta
x = np.matrix([[-0.1],
               [0.2]])
tol = 0.00001
xv = [x[0, 0]]
yv = [x[1, 0]]

for t in range(100):
    delta = delta_newton(x[0, 0], x[1, 0])
    if abs(delta[0, 0]) < tol and abs(delta[1, 0]) < tol:
        break
    x = x - delta
    xv.append(x[0, 0])
    yv.append(x[1, 0])
xv1=int(round(xv[-1],1))
yv1=int(round(yv[-1],1))
print('最小值：({},{})'.format(xv1,yv1))

参考资料：
萌弟AI（B站视频）