第11章 支撑向量机 SVM 学习笔记 下 高斯核函数RBF

 

目录

高斯核函数

多项式特征

直观理解高斯核函数

scikit-learn中的高斯核函数

scikit-learn 中的 RBF 核

---

 

高斯核函数

径向基函数

本质是将每个样本点----------

变形比较复杂，最后的形式简单，显示核函数的优点和威力

多项式特征

高斯核本质做的就是这件事

两个特殊点l1,l2,landmark

两个landmark就将一维x变成二维

直观理解高斯核函数

plt.scatter(x[y==0], [0]*len(x[y==0]))
plt.scatter(x[y==1], [0]*len(x[y==1]))
plt.show()

def gaussian(x, l):
    gamma = 1.0
    return np.exp(-gamma * (x-l)**2)





l1, l2 = -1, 1

X_new = np.empty((len(x), 2))
for i, data in enumerate(x):
    X_new[i, 0] = gaussian(data, l1)
    X_new[i, 1] = gaussian(data, l2)




plt.scatter(X_new[y==0,0], X_new[y==0,1])
plt.scatter(X_new[y==1,0], X_new[y==1,1])
plt.show()

 

 

 

线性可分

数据的映射过程

初始的数据维度大，m<n如自然语言的处理可以使用

scikit-learn中的高斯核函数

 

scikit-learn 中的 RBF 核

from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline
from sklearn.svm import SVC

def RBFKernelSVC(gamma):
    return Pipeline([
        ("std_scaler", StandardScaler()),
        ("svc", SVC(kernel="rbf", gamma=gamma))
    ])




svc = RBFKernelSVC(gamma=1)
svc.fit(X, y)



def plot_decision_boundary(model, axis):
    
    x0, x1 = np.meshgrid(
        np.linspace(axis[0], axis[1], int((axis[1]-axis[0])*100)).reshape(-1, 1),
        np.linspace(axis[2], axis[3], int((axis[3]-axis[2])*100)).reshape(-1, 1),
    )
    X_new = np.c_[x0.ravel(), x1.ravel()]

    y_predict = model.predict(X_new)
    zz = y_predict.reshape(x0.shape)

    from matplotlib.colors import ListedColormap
    custom_cmap = ListedColormap(['#EF9A9A','#FFF59D','#90CAF9'])
    
    plt.contourf(x0, x1, zz, linewidth=5, cmap=custom_cmap)

蓝色的就是顶点，府视图

10时中心的图案变宽，融合到了一起

很小时接近于线性，这时则是欠拟合

gamma小的模型越简单，对应可能是欠拟合