机器学习之SVM详细推导及源码

求解二次规划问题

标准形式：
$$min\frac{1}{2}{x}^{T}Px+q^{T}x$$
注意：p为对称矩阵，x是列向量

示例：
$$\frac{1}{2}\left[\begin{array}{cc}{x}_1& x_2\end{array}\right]\left[\begin{array}{cc}a& b\\ b& d\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=\frac{1}{2}(a{x}_1^2+d{x}_2^2+2b{x}_1{x}_2)$$

$$\min x_1^2+x_2^2+x_1{x}_2+2x_1+x_2$$

$$s.t.x_i\ge 0，i=1,2$$

$$\sum _{i=1}^2{x}_i=1$$

因此，由
$$x_1^2+x_2^2+x_1{x}_2$$

$$\{\begin{array}{l}\frac{1}{2}a=1\\ \frac{1}{2}d=1\\ \frac{1}{2}\ast 2\ast b=1\end{array}$$

推出
$$p=\left[\begin{array}{cc}2& 1\\ 1& 2\end{array}\right]$$
由
$$2x_1+x_2$$
推出
$$q=\left[\begin{array}{c}2\\ 1\end{array}\right]$$
将约束条件转化为标准形式
$$s.t.-x_i\le 0，i=1,2$$

$$\sum _{i=1}^2{x}_i=1$$

推出：
$$G=\left[\begin{array}{cc}-1& 0\\ 0& -1\end{array}\right]$$

$$h=\left[\begin{array}{c}0\\ 0\end{array}\right]$$

$$A=\left[\begin{array}{cc}1& 1\end{array}\right]$$

$$b=1$$

求解二次规划问题，可通过：cvxopt.solvers.qp(P,q,G,h,A,b)来进行求解。
$$p=\left[\begin{array}{cc}2& 1\\ 1& 2\end{array}\right],q=\left[\begin{array}{c}2\\ 1\end{array}\right],G=\left[\begin{array}{cc}-1& 0\\ 0& -1\end{array}\right],h=\left[\begin{array}{c}0\\ 0\end{array}\right],A=\left[\begin{array}{cc}1& 1\end{array}\right],b=1$$

支持向量机

线性方程：
$${\omega }^{T}x+b=0$$
其中，法向量
$$\omega =({\omega }_1;{\omega }_2;{\omega }_3;\dots ;{\omega }_d)$$
b为截距

补充：点到直线的距离公式：
$$d=|\frac{A{x}_0+B{y}_0+c}{\sqrt{(}{A}^2+B^2)}|$$
样本空间中任意点x到超平面(w,b)的距离为：
$$r=\frac{|{\omega }^{T}x+b|}{||\omega ||}$$
训练样本正确分类为：
$$\{\begin{array}{l}{\omega }^T{x}_i+b\ge +1，y_i=+1\\ {\omega }^T{x}_i+b\le -1，y_i=-1\end{array}$$
间隔：
$$\gamma =\frac{2}{||\omega ||}$$

要找最大间隔，找到约束的参数w和b，就要y最大
$$\underset{\omega ,b}{\max }\frac{2}{||\omega ||}$$

$$s.t.y_i({\omega }^T{x}_i+b)\ge 1，i=1,2,\dots ，m$$

为了最大化间隔，最大化||w||^{-1,等价于最小化||w||}2,
$$\underset{\omega ,b}{\min }\frac{1}{2}||\omega |{|}^2$$

$$s.t.y_i({\omega }^T{x}_i+b)\ge 1，i=1,2,\dots ，m$$

综上：我们所要求的目标为w和b

求解上述问题，需要求解上述公式

对偶问题

上述公式为凸二次规划问题，需使用拉格朗日乘数法求得对偶问题，拉格朗日函数
$$L(\omega ,b,\alpha )=\frac{1}{2}||\omega |{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i({\omega }^T{x}_i+b))$$
其中
$$\alpha =({\alpha }_1;{\alpha }_2;\dots ;{\alpha }_m)$$

$$||\omega |{|}^2={\omega }^T\omega$$

令L(w,b,a)对w和b的偏导为零可得
$$\omega =\sum _{i=1}^m{\alpha }_i{y}_i{x}_i$$

$$0=\sum _{i=1}^m{\alpha }_i{y}_i$$

将求导后的公式带入拉格朗日函数
$$\begin{gathered} \frac{1}{2}||\omega |{|}^2 \\ =\frac{1}{2}{\omega }^T\omega \\ =\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j \end{gathered}$$

$$\begin{gathered} \sum _{i=1}^m[{\alpha }_i-{\alpha }_i{y}_i(\sum _{j=1}^m{\alpha }_j{y}_j{x}_i^T{x}_j+b)] \\ =\sum _{i=1}^m{\alpha }_i-\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j-b\sum _{i=1}^m{\alpha }_i{y}_i \\ =\sum _{i=1}^m{\alpha }_i-\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j \end{gathered}$$

得到对偶问题
$$\underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j$$

$$\begin{gathered} s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0, \\ 0\le {\alpha }_i\le C，i=1,2,\dots ,m \end{gathered}$$

求解出二次规划问题后，会解出a，再通过a，求得w和b

求解a，w，b

根据上述二次规划问题求解，可得出

solvers.qp(p, q, G, h, A, b)   # 求解二次规划问题

# p
y = np.eye(n)                   # 对角矩阵 n*n，对角线全为1
y = label_y * y                 #
p = np.dot(train_x, train_x.T)
p = np.dot(y,p)
p = np.dot(p,y)
p = matrix(p)

# q
q = matrix(-1 * np.ones(n))

# αi ≤ c
# αi ≥ 0 → -αi ≤ 0
# G
G1 = np.eye(n)  #  对角矩阵
G2 = -1 * np.eye(n)  # -x<=0
G = matrix(np.vstack([G1,G2]))

# h
h1 = np.full([n, 1], c)
h2 = np.zeros([n, 1])
h = matrix(np.vstack( [h1,h2] ))

# A  →  yi
A = matrix(label_y.reshape([1, n]))

# b  →  0
b = matrix(0.0)

# 求出α
sol = solvers.qp(p, q, G, h, A, b)   # 求解二次规划问题
alpha = np.array(sol['x'])

求解的a后，再求解w
$$\omega =\sum _{i=1}^m{\alpha }_i{y}_i{x}_i$$

# 2、求w, 法向量
w = alpha * label_y * train_x
w = np.sum(w, axis=0)

求的w后，再求解b
$$b=y_i-\sum _{j:{\alpha }_i>0}{\alpha }_j{y}_j{x}_i^T{x}_j$$

# 3、求b
b = label_y[index].T - np.dot(w ,train_x[index].T)  # 1 * index
b = np.mean(b)

映射到高维空间，后模型为
$$f(x)={\omega }^T\varphi (x)+b$$
对偶问题为
$$\underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\varphi (x_i{)}^T\varphi (x_j)$$

$$\begin{gathered} s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0, \\ 0\le {\alpha }_i\le C，i=1,2,\dots ,m \end{gathered}$$

其中，内积的形式
$$\begin{gathered} \varphi (x_i{)}^T\varphi (x_j) \\ =⟨\varphi (x_i{)}^T,\varphi (x_j)⟩ \\ =k(x_i,x_j) \end{gathered}$$
对偶问题重写为
$$\underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_{j}k(x_i,x_j)$$

$$\begin{gathered} s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0, \\ 0\le {\alpha }_i\le C，i=1,2,\dots ,m \end{gathered}$$

k(.,.)为核函数

预测

求得w和b后，保存，放入公式

test_res = np.dot(w, text_x.T) + b

判断结果是否大于0

test_res[test_res > 0] = 1
test_res[test_res < 0] = -1