线性代数|机器学习-P22逐步最小化一个函数

Mit麻省理工教授视频如下：逐步最小化一个函数

1. 概述

主要讲的是无约束情况下的最小值问题。涉及到如下：

• 矩阵求导
• 泰勒公式，函数到向量的转换
• 梯度下降
• 牛顿法梯度下降

2. 泰勒公式

我们之前在高等数学中学过关于f(x)的泰勒展开如下：
定义：$\underset{x\to a}{\lim }{h}_k(x)=0$
$$\begin{array}{c}f(x)=f(a)+f^{\prime }(a)(x-a)+\frac{f^{\prime \prime }(a)}{2!}(x-a{)}^2+\cdots +\frac{f^{(k)}(a)}{k!}(x-a{)}^k+h_k(x)(x-a{)}^k\end{array}$$

• 那么我们只提取二次项，$x+\Delta x\to x;x\to a$ 可得如下：
  $$\begin{array}{c}f(x+\Delta x)\approx f(x)+f^{\prime }(x)\Delta x+\frac{f^{\prime \prime }(x)}{2!}\Delta x^2\end{array}$$
• 上面的公式中x为标量，现在我们需要用到向量 x
• $a,b$均为1维列向量，S为对称矩阵时，我们可得得到如下：
  $$\begin{array}{c}{a}^{T}b=c,x^{T}Sx=d\to c,d均为标量\end{array}$$
• 定义如下：
  $$\begin{array}{c}x={\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_n\end{array}\right]}^T,f={\left[\begin{array}{cccc}{f}_1& f_2& \cdots & f_n\end{array}\right]}^T\end{array}$$
  $$\begin{array}{c}{f}^{\prime }(x)=\nabla F={\left[\begin{array}{cccc}\frac{\partial f}{\partial x_1}& \frac{\partial f}{\partial x_1}& \cdots & \frac{\partial f}{\partial x_n}\end{array}\right]}^T\to f^{\prime }(x)\Delta x=(\Delta x{)}^T\nabla F(x)\end{array}$$
• $H_{jk}$为hessian matrix具有对称性
  $$\begin{array}{c}{f}^{\prime \prime }(x)=H_{jk}=\frac{{\partial }^{2}F}{\partial x_j\cdot \partial x_k}\to \frac{f^{\prime \prime }(x)}{2!}\Delta x^2=\frac{1}{2}(\Delta x{)}^T{H}_{jk}(\Delta x)\end{array}$$
• 整理上述公式可得：
  $$\begin{array}{c}F(x+\Delta x)\approx F(x)+(\Delta x{)}^T\nabla F(x)+\frac{1}{2}(\Delta x{)}^T{H}_{jk}(\Delta x)\end{array}$$

3. 雅可比矩阵

假设有一个m维度向量函数$f(x)=[\begin{array}{c}\end{array}$