支持向量机_svc支持向量机-CSDN博客

通过一定的数学推导可以求出，边际d= $\frac{2}{\left | \left | w \right | \right |}$ $\frac{2}{\left | \left | w \right | \right |}$ ，而边际越大越好，所以有了损失函数越小越好，如果不加平方，取模运算会导致计算量变大，所以增加了平方的运算。

损失函数计算公式：

约束条件形式：（αi是拉格朗日乘数）

核函数

核函数可以将m维空间的内积运算转化为低维空间的核函数计算，从而解决了在高维特征空间上计算“维度诅咒”的灾难。

在Sklearn中就是参数kernel，常用的核函数有Linear线性，poly多项式，rbf径向基核函数，sigmoid核函数等。

常见的核函数计算公式：

不同核函数的特点：

线性核函数：简单，求解快，奥卡姆剃刀，可解释性强

多项式核函数：可解决非线性问题，参数较多，对大数量级特征不适用

径向基核函数：可以映射到无限维，决策边界更多样，只有一个参数，更容易选择，特征多时会选用。但可解释性差，容易过拟合，计算速度较慢。

sklearn中进行可视化

1.导入模块

from sklearn.datasets import make_blobs   #生成聚类数据集
from sklearn.svm import SVC
import matplotlib.pyplot as plt
import numpy as np

2、实例化数据集，可视化

x,y=make_blobs(n_samples=100,centers=2,random_state=0,cluster_std=0.6)
plt.scatter(x[:,0],x[:,1],c=y,s=50,cmap='rainbow')
plt.show()

3、网格点制作

制作若干个连续的固定的网格点，为了方便后续决策边界的计算和可视化。

xlim=ax.get_xlim()    #返回上面图的x轴的最小值和最大值
ylim=ax.get_ylim()    #返回上面图的y轴的最小值和最大值
 
#print(xlim,ylim)    #(-0.7425578984849813, 3.3721920271976598) (-0.41872382476349596, 5.754870487889891)
 
axisx=np.linspace(xlim[0],xlim[1],30)          #根据xlim和ylim绘制网格点
axisy=np.linspace(ylim[0],ylim[1],30)
print(axisx,axisy)
 
axisx,axisy=np.meshgrid(axisx,axisy)           #将axisx和axisy分别向y轴和x轴进行扩充（广播）
 
xy=np.vstack([axisx.ravel(),axisy.ravel()]).T  #扩充为30*30的坐标点,后面基于这900个点绘制决策边界
 
plt.scatter(xy[:,0],xy[:,1],s=1,cmap="rainbow")
plt.show()

4、建立模型并绘制决策边界和超平面

clf=SVC(kernel='linear').fit(x,y)                #建模
z=clf.decision_function(xy).reshape(axisx.shape) #每个样本所对应的到决策边界的距离
 
 
ax=plt.gca()                                     #如果不写将不会生成决策边界
ax.contour(axisx,axisy,z,
           colors='k',
           levels=[-1,0,1],                      #代表两个过支持向量的超平面和决策边界
           alpha=0.5, 
           linestyles=['--','-','--'])           #超平面使用虚线--，决策边界使用实线-
 
ax.set_xlim(xlim)
ax.set_ylim(ylim)
 
plt.scatter(x[:,0],x[:,1],c=y,s=50,cmap='rainbow') 
plt.show()

可以对制作网格点和绘制决策边界和超平面做一个封装函数。

def plot_svc_decision_funtion(model,ax=None):
    if ax is None:
        ax=plt.gca()
    xlim = ax.get_xlim()
    ylim = ax.get_ylim()
 
    x=np.linspace(xlim[0],xlim[1],30)
    y=np.linspace(ylim[0],ylim[1],30)
 
    y,x=np.meshgrid(y,x)
    xy=np.vstack([x.ravel(),y.ravel()]).T
    P = model.decision_function(xy).reshape(x.shape)
 
    ax.contour(x,y,P,colors='k',
               levels=[-1,0,1],
               alpha=0.5,
               linestyles=['--','-','--'])
    ax.set_xlim(xlim)
    ax.set_ylim(ylim)
 
    plt.show()

当建模，并绘图时只需要使用如下的代码：

plt.scatter(x[:,0],x[:,1],c=y,s=50,cmap='rainbow')
plot_svc_decision_funtion(clf)

绘制效果：

支持向量机

支持向量机的基本概念

1.概念

2.支持向量机的不同功能

3.优缺点

线性SVM损失函数

核函数

sklearn中进行可视化

1.导入模块

2、实例化数据集，可视化

3、网格点制作

4、建立模型并绘制决策边界和超平面

“相关推荐”对你有帮助么？