paper:Max-Margin Parsing
边界的大小利用函数f(x)对w取模,量化了反对错误parse的自信度。
我们希望当错误parse y越来越严重的时候,这个自信度越来越大。
而应用在本文中,应该是
1、当约束条件成立的时候,就是出于支持向量的时候,这个时候距离是最小的。而我们期待的是所有边界之和最大,意味着我们找到了一个最优超平面。
2、当某些离群点处于支持向量和超平面之间是,那么这个时候就会出现边界损失,也就是margin loss。
3、为什么离群点会引起边界损失呢?这是因为离群点会影响支持向量的选取,一旦支持向量选取了离群点,那么最大边界也就会减小。故出现了边界损失。
subgradient:次梯度
经常用在凸优化问题中,我们经常想要求一个函数对某个变量的梯度,但如果这个函数是不可微分的呢。就可以采用次梯度方法
一个函数的次梯度是一个集合[a,b],a表示导数的左极限,b表示导数的右极限,就是这么一个区间的集合。
paper:(Online) Subgradient Methods for Structured Prediction
利用次梯度方法解决max-margin framework的问题
原来风险函数就是松弛变量的一个变形。
约束条件如下:
加入松弛变量后的目标函数:
风险函数r=松弛变量,当等号成立的时候,取得最优解,因此可以让r=松弛变量。
对公式进行变形: