[机器学习]支持向量机3——引入松弛因子

支持向量机1——间隔和支持向量

支持向量机2——对偶问题

支持向量机3——引入松弛因子

支持向量机4——SMO算法
很多情况下，一个分离超平面并不能完全将训练数据分成两部分。那么我们这时可以允许出现一些误差。故引入松弛因子。
从下图中我们可以看到一些样本不能满足间隔大于1这个条件。

我们令松弛因子：$\zeta_i \ge 0$，使得目标函数加生松弛因子$\zeta_i$大于等于1。即$y_i(w^Tx_i+b)\ge 1-\zeta_i$，同时为松弛因子加入一个代价，以免松弛因子过分大。

$$\min \limits_{\zeta,\omega,b}\frac{1}{2}||\omega||^2+C\sum_{i=1}^{m}\zeta_i\\ st. \quad y_i(w^Tx_i+b)\ge1-\zeta_i\quad i=1, 2,...m\\ \zeta_i\ge 0$$
其中C为惩罚因子（C>0），C的值越大惩罚的力度越大，当C趋于无穷大，那么就是线性可分问题。
拉格朗日函数变成：
$$L(\omega,b,\zeta,\alpha,r)=\frac{1}{2}||\omega||^2+C\sum_{i=1}^{m}\zeta_i-\sum_{i=1}^{m}\alpha_i[y_i(w^Tx_i+b)-1+\zeta_i]-\sum_{i=1}^{m}{r_i\zeta_i}\tag{3.1}$$

KKT条件：

• $\alpha_i\ge 0$
• $y_i(\omega^Tx_i+b)-1+\zeta_i\ge 0$
• $\alpha[y_i(\omega^Tx_i+b)-1+\zeta_i]=0$
• $r_i\ge0$
• $r_i\zeta_I=0$

$$\begin{equation} \begin{aligned} & \frac{\partial L}{\partial \omega}=0\Rightarrow \omega=\sum_{i=1}^{m}\alpha_iy_ix_i \\ & \frac{\partial L}{\partial \omega}=0 \Rightarrow \sum_{i=1}^{m}\alpha_iy_i=0 \\ &\frac{\partial L}{\partial \zeta_i}=0 \Rightarrow \alpha_i=C-r_i \end{aligned} \end{equation}\tag{3.2}$$

将$(3.2)$得到的带入$(3.1)$中，得出:

$$\max \limits_{\alpha} W(\alpha)=\sum_{i=1}^{m}\alpha_i -\frac{1}{2}{\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha_i\alpha_jy_iy_jx_ix_j}\\ st.\ \sum_{i=1}^{m}{\alpha_iy_i}=0\\ 0 \le \alpha_i \le C \ i=1, 2, ...m\tag{3.3}$$

此时KKT条件：

$$\begin{equation} \begin{aligned} \alpha_i=0 &\Rightarrow y_i(\omega^Tx_i+b)\ge 1\\ \alpha_i=C &\Rightarrow y_i(\omega^Tx_i+b) \le 1\\ 0<\alpha_i<C& \Rightarrow y_i(\omega^Tx_i+b) =1\\ \end{aligned} \end{equation}\tag{3.4}$$

参考资料

1.https://blog.csdn.net/luoshixian099/article/details/51073885#comments