支持向量机（SVM）中拉格朗日函数对w求导

首先给出拉格朗日函数：

$$\begin{equation*} L(w,b,\alpha)=\frac{1}{2}{\parallel}w{\parallel}^2- \sum\limits_{i=1}^{N}\alpha_iy_i(w{\cdot}x_i+b)+\sum\limits_{i=1}^{N}\alpha_i\qquad（公式1） \end{equation*}$$

然后对$w$求偏导并令其等于0：

$$\begin{equation*} \frac{\partial L(w,b,\alpha)}{\partial w}=\nabla_wL(w,b,\alpha)=w-\sum\limits_{i=1}^{N}\alpha_iy_ix_i=0\qquad（公式2） \end{equation*}$$

在这个式子中用到了标量函数对向量求导，也就是：

$$\begin{equation*} \frac{\partial }{\partial w}(\frac{1}{2}{\parallel}w{\parallel}^2)=w\qquad（公式3） \end{equation*}$$

那么这一步是怎么得到的呢？这就涉及到矩阵微分的知识。

实值函数相对于实向量的梯度

相对于$n\times1$向量$x$的梯度算子记作$\nabla_x$，定义为

$$\begin{equation*} \nabla_x \overset{def}{=}[\frac{\partial}{\partial x_1},\frac{\partial}{\partial x_2},\cdot\cdot\cdot,\frac{\partial}{\partial x_n}]^T=\frac{\partial}{\partial x}\qquad(公式4) \end{equation*}$$

因此，以$n\times1$向量$x$为变元的实标量函数$f(x)$相对于$x$的梯度为一个$n\times1$的列向量，定义为

$$\begin{equation*} \nabla_xf(x) \overset{def}{=}[\frac{\partial f(x)}{\partial x_1},\frac{\partial f(x)}{\partial x_2},\cdot\cdot\cdot,\frac{\partial f(x)}{\partial x_n}]^T=\frac{\partial f(x)}{\partial x}\qquad(公式5) \end{equation*}$$

从梯度的定义可以看出：
1、一个以向量为变元的标量函数的梯度为一个向量。
2、梯度的每个分量给出了标量函数在该分量方向上的变化率。

类似地，实值函数$f(x)$相对于$1\times n$行向量$x^T$的梯度为$1\times n$行向量，定义为

$$\begin{equation*} \frac{\partial f(x)}{\partial x}\overset{def}{=}[\frac{\partial f(x)}{\partial x_1},\frac{\partial f(x)}{\partial x_2},\cdot\cdot\cdot,\frac{\partial f(x)}{\partial x_n}]=\nabla_{x^T}f(x) \qquad(公式6) \end{equation*}$$

根据（公式5）的定义，可以来计算（公式3），设$w$是$m\times1$的列向量

$$\begin{equation*} \frac{1}{2}{\parallel}w{\parallel}^2=\frac{1}{2}w^T\cdot w=\frac{1}{2}\sum\limits_{i=1}^{m}{w_i}^2 \qquad(公式7) \end{equation*}$$

可求出梯度$\frac{\partial }{\partial w}(\frac{1}{2}{\parallel}w{\parallel}^2)$的第k个分量为

$$\begin{equation*} \quad[\frac{\partial }{\partial w}(\frac{1}{2}{\parallel}w{\parallel}^2)]_k=\frac{\partial }{\partial w_k}(\frac{1}{2}\sum\limits_{i=1}^{m}{w_i}^2)=\frac{1}{2}\times2w_k=w_k \quad(公式8) \end{equation*}$$

于是

$$\begin{equation*} \frac{\partial }{\partial w}(\frac{1}{2}{\parallel}w{\parallel}^2)=w \qquad(公式9) \end{equation*}$$

类似地，在最小二乘法中也有这个求导，不过里面还用到了链式法则。在此就不赘述了。