吃瓜 | Task5 软间隔与支持向量回归

算法原理

• 数据集线性不可分情况下，要允许支持向量机容错

软间隔

1. 允许部分样本不满足
   $$\underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^{2}s.t.y_i（w^{T}x+b）\ge 1,i=1,2\cdot \cdot \cdot ,m$$
2. 但是还是要最小化损失

• 满足条件损失为0；
• 当不满足时损失不为0
• （选）损失与其违反约束条件的程度成正比

3. $$\underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^m{\ell }_{0/1}(y_i(w^T{x}_i+b)-1)$$其中${\ell }_{0/1}$是“0/1损失条件”，$z=y_i(w^T{x}_i+b)-1$
   $${\ell }_{0/1}\left(z\right)=\{\begin{array}{c}1,ifz<0\\ 0,ifz⩾0\end{array}$$
   其中C用来调节损失函数权重，当其趋近于无穷大时，变成严格执行的约束调节成为硬间隔。
4. 由于${\ell }_{0/1}$性质不佳，常用其他函数替代；软间隔支持向量机选用：hinge（合页）损失[连续凸函数]$$hinge损失:{\ell }_{hinge}(z)=max(0,1-z)$$$$\underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^{m}max(0，1-y_i(w^T{x}_i+b))$$
5. 引入松弛变量${\xi }_i=max(0，1-y_i(w^T{x}_i+b)$
   优化问题进一步等价
   $$\underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^m{\xi }_i$$$$s.t.-y_i(w^T{x}_i+b)\ge 1-{\xi }_i,{\xi }_i\ge 0,i=1,2,...,m$$

支持向量回归

线性回归：用线或者超平面拟合训练样本
SVR：用一个以$f(x)=w^{T}x+b$为中心，宽度为$2ϵ$的间隔带来拟合训练样本

• 核心思想：不在带上的点以偏离距离为损失，最小化损失，求取最优带

1. SVR最优化问题
   $$\underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^m{\ell }_{ϵ}(f(x_i)-y_i)$$

• 经验风险：其中${\ell }_{ϵ}(z)$是“$ϵ不敏感损失函数$”（ 类比均方误差损失），
  $${\ell }_{ϵ}\left(z\right)=\{\begin{array}{c}0,if|z|\le ϵ\\ |z|-ϵ,if|z|>ϵ\end{array}$$
• 机构风险：
  $\frac{1}{2}\Vert w{\Vert }^2$为L2正则项，防止过拟合

2. 引入松弛变量${\xi }_i={\ell }_{ϵ}(f(x_i)-y_i)$
   优化问题进一步等价
   $$\underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^m{\xi }_i$$$$s.t.-ϵ-{\xi }_i\le f(x_i)-y_i\le ϵ+{\xi }_i,{\xi }_i\ge 0,i=1,2,...,m$$
   对于上下越界点采取不同的松弛变量
   $$\underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^m({\xi }_i+{\hat{\xi }}_i)$$$$s.t.-ϵ-{\hat{\xi }}_i\le f(x_i)-y_i\le ϵ+{\xi }_i,{\xi }_i\ge 0,{\hat{\xi }}_i\ge 0,i=1,2,...,m$$

学习笔记来源，指路☟
https://www.bilibili.com/video/BV1Mh411e7VU?p=10