the subgradient of hingle loss 合页函数的次梯度

合页损失：

$$l_h(z,W)=\max(0,1-y\mathbf w_k^T \cdot \mathbf x)$$
其中 $z=(\mathbf x,y,k)$, $W$是多任务学习的权重,$k$表示样本 $(\mathbf x ,y)$所对应的任务。
对于二维的情况，我们很容易画出其函数。而且 $\max$函数是分段平滑函数构成，因此我们只需要求解各个分段平滑函数的导数即可：
当 $1-y\mathbf w_k^T\cdot \mathbf x>0$时，
$$\frac{\partial l(\mathbf w)}{\partial \mathbf w}=-y \mathbf x$$
当 $1-y\mathbf w_k^T\cdot \mathbf x<0$时，
$$\frac{\partial l(\mathbf w)}{\partial \mathbf w}=\mathbf 0$$
当 $1-y\mathbf w_k^T\cdot \mathbf x= 0$时，存在很多次梯度，因为点 $\mathbf x$是两个分段平滑函数的交点，而我们只需要计算一个次梯度，因此我们可以将其规划为上面任意一个公式即可。
即有：
$$\begin{equation} \frac{\partial l(\mathbf w)}{\partial \mathbf w}= \begin{cases} -y\mathbf x & \text{if } 1-y\mathbf w_k^T\cdot \mathbf x>0 \\ \mathbf 0 & \text{if } 1-y\mathbf w_k^T\cdot \mathbf x\leq 0 \end{cases} \end{equation}$$
或:
$$\begin{equation} \frac{\partial l(\mathbf w)}{\partial \mathbf w}= \begin{cases} -y\mathbf x & \text{if } 1-y\mathbf w_k^T\cdot \mathbf x\geq0 \\ \mathbf 0 & \text{if } 1-y\mathbf w_k^T\cdot \mathbf x<0 \end{cases} \end{equation}$$
参考文献：
http://blog.csdn.net/raby_gyl/article/details/52077317