回归中最为基础的方法, 最小二乘法.
\[\begin{align*}
J_{LS}{(\theta)} &= \frac { 1 }{ 2 } { \left\| A\vec { x } -\vec { b } \right\| }^{ 2 }\quad \\
\end{align*}
\]
向量的范数定义
\[\begin{align*}
\vec x &= [x_1,\cdots,x_n]^{\rm T}\\
\|\vec x\|_p &= \left( \sum_{i=1}^m{|x_i|^p}\right)^\frac{1}{p}, \space p
\end{align*}
\]
\(L_2\)范数具体为
\[\|\vec x\|_2 = (|x_1|^2 + \cdots+|x_m|^2)^{\frac{1}2} = \sqrt{\vec x ^{\rm T}\vec x }
\]
矩阵求导
采用列向量形式定义的偏导算子称为列向量偏导算子, 习惯称为\(\color {red} {梯度算子}\), n x 1 列向量偏导算子即梯度算子记作 \(\nabla_x\), 定义为
\[\nabla_x = \frac{\partial}{\partial x} = \left[ \frac{\partial}{\partial x_1}, \cdots, \frac{\partial}{\partial x_m}\right] ^{\rm T}
\]
如果\(\vec x 是一个n\times 1\text{的列向量}\), 那么
\[\begin{eqnarray}
\frac{\partial y x}{\partial x}&#