机器学习练习 6 - Support Vector Machines（支持向量机）

已于 2022-04-16 16:24:19 修改
阅读量2.4k 收藏 4
点赞数 1
分类专栏： 机器学习 文章标签： python 机器学习 人工智能 自然语言处理 sklearn
于 2022-03-27 23:44:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Phoenix_ZengHao/article/details/123784612
版权

机器学习练习 6 - Support Vector Machines（支持向量机）

Introduction

在本实验中，将使用支持向量机(SVMs)来构建垃圾邮件分类器。

1 Support Vector Machines（支持向量机）

在本实验的前半部分，将使用包含各种 2 D 2D 2D数据集的支持向量机(SVMs)。对这些数据集进行实验可以更加直观地了解SVMs的工作原理，以及如何在SVMs上使用高斯核。在本实验的后半部分，将使用SVMs来构建垃圾邮件分类器。

1.1 Example Dataset 1

从一个可以由线性边界分隔的二维数据集开始。在这个数据集中，正例子（用+表示）和负例子(用o表示)的位置表明可以由线性边界分割。但是，注意，在最左边有一个异常的正例子+，大约是 ( 0.1 , 4.1 ) (0.1,4.1) (0.1,4.1)。在本实验中，将看到这种特殊的例子如何影响SVM的决策边界。

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from scipy.io import loadmat
from sklearn import svm
import seaborn as sns

def load_mat(path):
    data=loadmat(path)
    X=data['X']
    y=data['y']
    return X,y

path="./data/ex6data1.mat"
X,y=load_mat(path)

def plot_data(X,y,fig,ax):
    data=pd.DataFrame(X,columns=['X1','X2'])
    data['y']=y
    positive=data[data['y'].isin([1])]
    negative=data[data['y'].isin([0])]
    
    ax.scatter(positive['X1'],positive['X2'],s=30,marker='+',c='black',label='Positive')
    ax.scatter(negative['X1'],negative['X2'],s=30,marker='o',c='orange',label='Negative')
    ax.set_xlabel('X1')
    ax.set_ylabel('X2')
    ax.legend()

fig,ax=plt.subplots(figsize=(8,6))
plot_data(X, y,fig,ax)
plt.title("Example Dataset 1")
plt.show()

​
png
​

在本部分的实验中，将尝试对SVMs使用不同的C参数值。C参数是一个正数，它控制了对错误分类的训练数据的惩罚，其中C较大，说明SVM尝试正确地分类所有的数据，C类似于 1 λ \frac{1}{\lambda} λ1​， λ \lambda λ是之前用于逻辑回归的正则化参数。

大多数SVM库会自动添加额外的特征，比如： x 0 , θ 0 x_0,\theta_0 x0​,θ0​，所以无需手动添加。

svc = svm.SVC(C=1, kernel='linear')
svc

SVC(C=1, kernel='linear')

svc.fit(X,y.flatten())
svc.score(X,y.flatten())

0.9803921568627451

可视化分类边界

def plot_boundary(svc,X,y,C,diff=10**-3):
    x1,x2=decision_boundary(svc,X,diff)
    fig,ax=plt.subplots(figsize=(8,6))
    plot_data(X, y,fig,ax)
    ax.scatter(x1,x2,s=5,c='blue',label='Boundary')
    plt.title("SVM Decision Boundary with C = {} (Example Dataset 1)".format(C))
    plt.show()

def decision_boundary(svc,X,diff=10**-3):
    x1_min,x1_max=X[:,0].min(),X[:,0].max()
    x2_min,x2_max=X[:,1].min(),X[:,1].max()
    x1=np.linspace(x1_min,x1_max,2000)
    x2=np.linspace(x2_min,x2_max,2000)#将整个平面分割为2000*2000的小方格，如果后面感觉运行太久可以适当缩小到500
    cordinates = [(x, y) for x in x1 for y in x2]
    x1, x2 = zip(*cordinates)
    c_val=pd.DataFrame({'x1':x1,'x2':x2})
    c_val['cval']=svc.decision_function(c_val[['x1','x2']])#对所有的小方格的：预测样本的置信度得分（接近0的就是分割边界）
    decision=c_val[np.abs(c_val['cval'])<diff]
    return decision.x1,decision.x2

当C=1时，发现SVM将决策边界放在两个数据集之间的间隙中，并将最左边的数据点错误分类。

plot_boundary(svc,X,y,1,10**-3)

​
png
​

svc2 = svm.SVC(C=100,kernel='linear')
svc2

SVC(C=100, kernel='linear')

svc2.fit(X,y.flatten())
svc2.score(X,y.flatten())

1.0

当C=100时，发现SVM对每个数据都正确分类，但是该决策边界与数据匹配并不自然。

plot_boundary(svc2,X,y,100,10**-3)

​
png
​

综上：

  • 当C比较小时模型对错误分类的惩罚较小，比较宽松，允许一定的错误分类存在，间隔较大。
  • 当C比较大时模型对错误分类的惩罚较大，比较严格，错误分类少，间隔较小。

1.2 SVM with Gaussian Kernels

在这节实验，将使用SVMs来进行非线性分类并且在非线性可分的数据集上使用高斯核SVMs。

1.2.1 Gaussian Kernel（高斯核）

为了用SVM找到非线性决策边界，需要实现一个高斯核。可以把高斯核看作一个相似度函数，用来度量一对数据 ( x ( i ) , x ( j ) ) (x^{(i)},x^{(j)}) (x(i),x(j))之间的"距离"。高斯核有一个参数 σ \sigma σ，决定了相似性下降至 0 0 0的速度。

高斯核定义如下：

image-20220327163110849

这里使用sklearn自带的svm中的核函数即可：

def GaussKernel(x1,x2,sigma):
    return np.exp(-np.sum((x1-x2)**2)/(2*sigma**2))

使用示例数据 x 1 = [ 1 , 2 , 1 ] , x 2 = [ 0 , 4 − 1 ] , σ = 2 x_1=[1,2,1],x_2=[0,4-1],\sigma=2 x1​=[1,2,1],x2​=[0,4−1],σ=2运行的结果约为 0.324652 0.324652 0.324652。

x1,x2,sigma=np.array([1,2,1]),np.array([0,4,-1]),2
GaussKernel(x1, x2, sigma)

0.32465246735834974
1.2.2 Example Dataset 2

接下来的实验中的数据的分布图如下图所示，可以观察到，该数据集的正例子和负例子之间没有线性决策边界。不过，通过使用高斯核SVM，将能够学习到一个非线性决策边界，它在该数据集表现得相当好。

path="./data/ex6data2.mat"
X2,y2=load_mat(path)

fig,ax=plt.subplots(figsize=(8,6))
plot_data(X2,y2,fig,ax)
plt.title("Example Dataset 2")
plt.show()

​
png
​

上面已经正确地实现了高斯核函数GaussKernel，接下来将继续在这个数据集上用高斯核训练SVM。下图绘制了具有高斯核的SVM所找到的决策边界，该决策边界能够正确地分离大多数正负例子，并且很自然地遵循了数据集的轮廓。

sigma=0.1
gamma=np.power(sigma,-2)/2
clf=svm.SVC(C=1,kernel='rbf',gamma=gamma)
model=clf.fit(X2, y2.flatten())
clf.score(X2, y2.flatten())

0.9895712630359212

dx1,dx2=decision_boundary(model,X2,diff=0.01) #找到决策边界的点
fig,ax=plt.subplots(figsize=(8,6))
plot_data(X2, y2, fig, ax)
ax.scatter(dx1,dx2,s=5)
plt.title("SVM (Gaussian Kernel) Decision Boundary (Example Dataset 2)")
plt.show()

​
png
​

1.2.3 Example Dataset 3

在这部分实验中，将进了解关于如何使用具有高斯核的SVM。首先绘制样例数据集 3 3 3中的数据分布图：

def load_mat3(path):
    data=loadmat(path)
    X=data['X']
    y=data['y']
    Xval=data['Xval']
    yval=data['yval']
    return X,y,Xval,yval

path="./data/ex6data3.mat"
X3,y3,X3val,y3val=load_mat3(path)

fig,ax=plt.subplots(figsize=(8,6))
plot_data(X3,y3,fig,ax)
plt.title("Example Dataset 3")
plt.show()

​
png
​

第 3 3 3个数据集给出了训练集和验证集，并且基于验证集的性能来为SVM模型找到最优超参数。对于 C , σ C,\sigma C,σ，有候选值 ( 0.01 , 0.03 , 0.1 , 0.3 , 1 , 3 , 10 , 30 ) (0.01, 0.03, 0.1, 0.3, 1, 3, 10, 30) (0.01,0.03,0.1,0.3,1,3,10,30)。尝试上面列出的 C C C和 σ \sigma σ的 8 8 8个值中的每个，最终将训练和评估（在交叉验证集上）共 64 64 64个不同的模型。

C_values=[0.01, 0.03, 0.1, 0.3, 1, 3, 10, 30]
sigma_values=[0.01, 0.03, 0.1, 0.3, 1, 3, 10, 30]
best_score=0
best_params={'C':None,'sigma':None}

for C in C_values:
    for sigma in sigma_values:
        clf=svm.SVC(C=C,kernel='rbf',gamma=sigma)
        model=clf.fit(X3, y3.flatten())
        score=clf.score(X3val, y3val.flatten())
        if score>best_score:
            best_score=score
            best_params['C'],best_params['sigma']=C,sigma

best_score,best_params

(0.965, {'C': 3, 'sigma': 30})

clf=svm.SVC(C=best_params['C'],kernel='rbf',gamma=best_params['sigma'])
model=clf.fit(X3, y3.flatten())
clf.score(X3val, y3val.flatten())

0.965

根据上面的代码找到了最佳参数C和sigma，SVM得到了下图的决策边界。

dx1,dx2=decision_boundary(model,X3,diff=0.005) #找到决策边界的点
fig,ax=plt.subplots(figsize=(8,6))
plot_data(X3, y3, fig, ax)
ax.scatter(dx1,dx2,s=5)
plt.title("SVM (Gaussian Kernel) Decision Boundary (Example Dataset 3)")
plt.show()

​
png
​

2 Spam Classification（垃圾邮件分类）

在本部分的实验中，将使用SVMs来构建垃圾邮件过滤器。

接下来将训练一个分类器来分类给定的电子邮件(x)是垃圾邮件(y=1)还是非垃圾邮件(y=0)，需要将每个电子邮件转换为一个特征向量 x ∈ R n x \in R^n x∈Rn

2.1 Preprocessing Emails（预处理电子邮件）

在开始执行机器学习任务之前，查看电子邮件的类型，下图显示了一个包含一个URL、电子邮件地址（在末尾）、数字和美元金额的电子邮件。虽然许多电子邮件包含类似实体(例如，数字、URL、电子邮件地址)，但特定的实体(例如，特定的URL或特定的金额)在几乎每封电子邮件中都是不同的。因此，在处理电子邮件时经常使用的一种方法是"规范化"这些值，这样所有的url都处理成相同的，所有数字都处理成相同的。例如，用字符串httpaddr替换电子邮件中的URL，表示存在一个URL。这样做可以让垃圾邮件分类器根据是否存在URL来做出分类决定。这可以提高垃圾邮件分类器的性能，因为垃圾邮件发送者通常会将URL随机化，因此在新的垃圾邮件片段中再次看到特定出现过的URL的几率非常小。

with open("./data/emailSample1.txt","r") as f:
    email=f.read()
    print(email)

> Anyone knows how much it costs to host a web portal ?
>
Well, it depends on how many visitors you're expecting.
This can be anywhere from less than 10 bucks a month to a couple of $100. 
You should checkout http://www.rackspace.com/ or perhaps Amazon EC2 
if youre running something big..

To unsubscribe yourself from this mailing list, send an email to:
groupname-unsubscribe@egroups.com

​
​

所以接下来，需要对读取到的邮件作如下处理：

  • Lower-casing: 把整封邮件转化为小写
  • Stripping HTML: 移除所有HTML标签，只保留内容
  • Normalizing URLs: 将所有的URL替换为字符串httpaddr
  • Normalizing Email Addresses: 所有的地址替换为emailaddr
  • Normalizing Dollars: 所有dollar符号($)替换为dollar
  • Normalizing Numbers: 所有数字替换为number
  • Word Stemming(词干提取): 将所有单词还原为词源。例如discount, discounts, discounted and discounting都替换为discount
  • Removal of non-words: 移除所有非文字类型，所有的空格(tabs, newlines, spaces)调整为一个空格

将上面的邮件进行上述的预处理，结果如下图所示。虽然预处理留下了单词片段和非单词，但这种形式对于执行特征提取更容易处理。

import re
def processEmail(email):
    email=email.lower()
    email=re.sub('<[^<>]>',' ',email)
    email=re.sub('(http|https)://[^\s]*','httpaddr',email)
    email=re.sub('[^\s]+@[^\s]+','emailaddr',email)
    email=re.sub('[\$]+','dollar',email)
    email=re.sub('[\d]+','number',email)
    return email

processEmail(email)

"> anyone knows how much it costs to host a web portal ?\n>\nwell, it depends on how many visitors you're expecting.\nthis can be anywhere from less than number bucks a month to a couple of dollarnumber. \nyou should checkout httpaddr or perhaps amazon ecnumber \nif youre running something big..\n\nto unsubscribe yourself from this mailing list, send an email to:\nemailaddr\n\n"

接下来提取词干并且去除非字符内容。

import nltk, nltk.stem.porter # 英文分词算法
def email_TokenList(email):
    stemmer=nltk.stem.porter.PorterStemmer()
    email=processEmail(email)
    tokens=re.split('[ \@\$\/\#\.\-\:\&\*\+\=\[\]\?\!\(\)\{\}\,\'\"\>\_\<\;\%]',email)
    tokenList=[]
    for token in tokens:
        token=re.sub('[^a-zA-Z0-9]','',token)
        stemmed = stemmer.stem(token)#提取词根
        if(len(token)):
            tokenList.append(stemmed)
    return tokenList

在对电子邮件进行预处理后，得到电子邮件的单词列表（如下）。接下来选择在分类器中使用哪些词，以及需要忽略哪些词。

email_TokenList(email)

['anyon',
 'know',
 'how',
 'much',
 'it',
 'cost',
 'to',
 'host',
 'a',
 'web',
 'portal',
 'well',
 'it',
 'depend',
 'on',
 'how',
 'mani',
 'visitor',
 'you',
 're',
 'expect',
 'thi',
 'can',
 'be',
 'anywher',
 'from',
 'less',
 'than',
 'number',
 'buck',
 'a',
 'month',
 'to',
 'a',
 'coupl',
 'of',
 'dollarnumb',
 'you',
 'should',
 'checkout',
 'httpaddr',
 'or',
 'perhap',
 'amazon',
 'ecnumb',
 'if',
 'your',
 'run',
 'someth',
 'big',
 'to',
 'unsubscrib',
 'yourself',
 'from',
 'thi',
 'mail',
 'list',
 'send',
 'an',
 'email',
 'to',
 'emailaddr']
2.1.1 Vocabulary List

在本节实验中，只选择最经常出现的单词作为单词集（词汇表）。由于在训练集中很少出现的单词一般也只出现在少数电子邮件中，它们可能会导致模型过拟合。词汇表vocab.txt里面存储了在实际中经常使用的单词，共 1899 1899 1899个。（在实践中，词汇表大约有1万到5万字）。在词汇表中，将预处理电子邮件中的每个单词映射到一个单词索引列表中，其中包含词汇和单词索引。

完成processEmail函数，传入字符串str（处理过的电子邮件中的单个单词），然后在词汇表中查找该单词，看它是否存在于词汇表列表中，如果存在，将单词的索引添加到单词索引变量中；如果不存在，可以跳过这个词。

def processEmail_index(email,vocab):
    token=email_TokenList(email)
    index=[i for i in range(len(vocab)) if vocab[i] in token]
    return index

vocab = pd.read_table('./data/vocab.txt',names=['words'])
vocab=vocab.values
processEmail_index(email, vocab)

[70,
 85,
 88,
 161,
 180,
 237,
 369,
 374,
 430,
 478,
 529,
 530,
 591,
 687,
 789,
 793,
 798,
 809,
 882,
 915,
 944,
 960,
 991,
 1001,
 1061,
 1076,
 1119,
 1161,
 1170,
 1181,
 1236,
 1363,
 1439,
 1476,
 1509,
 1546,
 1662,
 1675,
 1698,
 1757,
 1821,
 1830,
 1892,
 1894,
 1895]

2.2 Extracting Features from Emails（从电子邮件中提取特征）

接下来实现功能提取，将每个电子邮件转换为一个 R n R^n Rn的向量。电子邮件的特性 x i ∈ { 0 , 1 } x_i\in \lbrace0,1\rbrace xi​∈{0,1}表示第 i i i个单词是否出现在电子邮件中，如果第 i i i个单词在电子邮件中，那么 x i = 1 x_i=1 xi​=1；否则 x i = 0 x_i=0 xi​=0。因此，一个电子邮件中的特征将看起来就像：

image-20220327224657366

编写函数emailFeatures完成上述的功能，运行代码，可以看到特征向量的长度为 1899 1899 1899并且有 45 45 45个非零项。

def emailFeatures(email):
    df = pd.read_table('./data/vocab.txt',names=['words'])
    vocab=df.values
    vector=np.zeros(len(vocab))
    vocal_index=processEmail_index(email,vocab)
    for i in vocal_index:
        vector[i]=1
    return vector

vector=emailFeatures(email)
print('vector had length {} and {} non-zero entries'.format(len(vector), int(vector.sum())))

vector had length 1899 and 45 non-zero entries

2.3 Training SVM for Spam Classification（垃圾邮件分类-SVM）

spamTrain.mat包含 4000 4000 4000个垃圾邮件和非垃圾邮件的训练数据，spamTest.mat包含 1000 1000 1000个测试数据。每个原始电子邮件使用processEmail函数和emailFeatures函数处理，并转换为一个向量 x ( i ) ∈ R 1899 x^{(i)}\in R^{1899} x(i)∈R1899。

加载数据集之后，训练SVM进行分类：垃圾邮件 y = 1 y=1 y=1和非垃圾邮件(y=0)。训练完成，分类器得到的训练准确率约为 99.8 % 99.8\% 99.8%，测试准确率约为 98.5 % 98.5\% 98.5%。

path="./data/spamTrain.mat"
X,y=load_mat(path)
path="./data/spamTest.mat"
data=loadmat(path)
Xtest,ytest=data["Xtest"],data["ytest"]
X.shape,y.shape,Xtest.shape,ytest.shape

((4000, 1899), (4000, 1), (1000, 1899), (1000, 1))

每个文档已经转换为一个向量，其中 1899 1899 1899对应于词汇表中的 1899 1899 1899个单词。 它们的值为二进制，表示文档中是否存在单词。

clf=svm.SVC(C=0.1,kernel='linear')
clf.fit(X,y)
clf.score(X,y)

D:\Python\lib\site-packages\sklearn\utils\validation.py:63: DataConversionWarning: A column-vector y was passed when a 1d array was expected. Please change the shape of y to (n_samples, ), for example using ravel().
  return f(*args, **kwargs)





0.99825

clf.score(Xtest,ytest)

0.989

2.4 Top Predictors for Spam

为了更好地理解垃圾邮件分类器是如何工作的，可以检查参数，看看分类器认为哪些词最能预测到垃圾邮件。接下来在分类器中找到最大的参数（正数），并显示相应的单词。因此，如果电子邮件包含"保证"、“删除”、"美元"和"价格"等词，它很可能被归类为垃圾邮件。

kw=np.eye(1899)
spam_val=pd.DataFrame({'index':range(1899)})
spam_val['is_spam']=clf.decision_function(kw)

spam_val['is_spam'].describe()

count    1899.000000
mean        0.184175
std         0.086875
min        -0.418804
25%         0.141325
50%         0.185384
75%         0.225760
max         0.686941
Name: is_spam, dtype: float64

decision=spam_val[spam_val['is_spam']>0.4]
decision
indexis_spam
49490.423638
1551550.531392
1731730.415344
2972970.652244
3903900.419589
4764760.509960
4784780.415967
5545540.413357
6986980.434625
7387380.569949
7917910.432732
9659650.439794
106610660.443626
108810880.440269
112311230.401540
119011900.686941
126312630.447497
129812980.453625
137313730.411073
139713970.609197
146014600.419283
179517950.554038
180818080.418275
185118510.456052
vocab = pd.read_csv('./data/vocab.txt',names=['index','words'],sep='\t')
vocab.head()
indexwords
01aa
12ab
23abil
34abl
45about
spam_voc=vocab.loc[list(decision['index'])]
spam_voc
indexwords
4950al
155156basenumb
173174below
297298click
390391da
476477dollar
478479dollarnumb
554555enumb
698699ga
738739guarante
791792hour
965966lo
10661067most
10881089nbsp
11231124numberb
11901191our
12631264pleas
12981299price
13731374recent
13971398remov
14601461se
17951796visit
18081809want
18511852will
Phoenix_ZengHao
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
基于SVM的垃圾邮件识别
qq_42518889的博客
07-05 1622
采用公开数据集，基于SVM算法对垃圾邮件进行识别
机器学习学习笔记（六）--支持向量机
weixin_44546905的博客
03-10 386
专业词汇 鲁棒性（Robustness） 支持向量机（Support Vector Machine） "间隔" (margin) 最大|间隔 (maximum margin) 个凸二次规划(convex quadratic programming) 问题 "对偶问题" (dual problem) KKT (Karush-Kuhn-Tucker) SMO (Sequential Minimal O...
Tensorflow用SVM(高斯核函数)分类非线性数据
小龙在线
02-27 8310
如果想分割非线性数据集，该如何改变线性分类器映射到数据集？答案是，改变SVM损失函数中的核函数。 # Illustration of Various Kernels #---------------------------------- # # This function wll illustrate how to # implement various kernels in TensorF...
垃圾邮件分类任务中多种机器学习（贝叶斯、支持向量机和随机森林）和深度学习（GloVe和LSTM）方法的应用和对比
meyalo的博客
03-21 4307
随着时代的发展，信息以指数形式增长，为了能够从海量信息中迅速找到所需要的信息，就需要对信息进行分类，因此自动文本分类技术应运而生。文本分类其任务是将自然语言文本根据其内容分为预先定义的两类或者多类。文本分类的应用领域极为广泛，垃圾邮件分类就是其中一个很重要的应用。 通常我们将“广告促销”等营销邮件判定成垃圾邮件。例如\垃圾邮件分类任务语料\train\Data\001\路径下的067邮件： < TEXT > 萬泰商銀特別專案貸款 (非 @指成金信用貸款,即使非上班族也能申貸) 免保人,免擔保品,
22.支持向量机—高斯核函数
WJiaJiaBest的博客
07-31 2886
机器学习中支持向量机（SVM）高斯核函数的应用
机器学习笔记 十二：最强大的学习算法之支持向量机（二）
amyniez的博客，欢迎交流讨论
07-07 539
二维分类问题是一个经典的机器学习问题，其中的关键在于找到合适的分类平面（分类器的决策边界，比如y=w^T x+b），而支持向量机提出最大化分类间距的思想。本文主要是运用SVM进行垃圾邮件的分类。............
机器学习——Support Vector Machine(支持向量机)
erciyuan_的博客
05-30 2089
间隔与支持向量 给定训练样本集 D={(x1,y1),(x2,y2),…,(xm,ym)},yi∈{−1,+1}D=\left\{\left(\boldsymbol{x}_{1}, y_{1}\right),\left(\boldsymbol{x}_{2}, y_{2}\right), \ldots,\left(\boldsymbol{x}_{m}, y_{m}\right)\right\}, y...
SVM - 支持向量机 - Support Vector Machines
最新发布
07-05
1.2 Support Vector Machines: An Overview 7 1.3 History of SVMs and Geometrical Interpretation 13 1.4 Alternatives to SVMs 19 2 Loss Functions and Their Risks21 2.1 Loss Functions: Definition and ...
A-Library-for-Support-Vector-Machines.rar_支持向量基
09-21
支持向量机（Support Vector Machines，SVM）是一种在机器学习领域广泛应用的监督学习模型，尤其在分类和回归任务中表现出色。SVM的核心思想是找到一个最优的超平面，使得不同类别的样本被最大程度地分隔开来。在这...
Cost-sensitive Support Vector Machines
02-01
代价敏感支持向量机 A new procedure for learning cost-sensitive SVM(CS-SVM) classifiers is proposed. The SVM hinge loss is extended to the cost sensitive setting, and the CS-SVM is derived as the ...
机器学习之支持向量机（Support Vector Machines）模型-附件资源
03-05
机器学习之支持向量机（Support Vector Machines）模型-附件资源
支持向量机利用核函数实现简单的非线性分类
kuwola的博客
02-22 537
核函数实现线性分类
吴恩达机器学习作业Python3实现(六)：支持向量机SVM
专注当下，持续进步。
01-25 1347
寻找志同道合的学习伙伴，请访问我的个人网页. 该内容同步发布在CSDN和耳壳网. 支持向量机 在本练习中，我们将使用高斯核函数的支持向量机（SVM）来构建垃圾邮件分类器。 sklearn.svm.LinearSVC cmap color 数据集 import numpy as np import pandas as pd import matplotlib.pyplot as plt from scipy.io import loadmat path = '数据集/ex6data1.mat' raw_.
分类：支持向量机(四)——非线性支持向量机
huguozhiengr的博客
03-13 4729
前面介绍的支持向量机都是在数据线性可分条件下的，但我们拿到训练数据时，并不一定能知道数据是否线性可分，低维数据可以通过可视化的方式观察是否线性可分，而高维数据则很难判断其是否线性可分了。对线性不可分数据强行构建线性支持向量机分类可能会导致很差的分类效果，本篇博文就介绍一下如何在数据线性不可分条件下构建非线性支持向量机。 1.非线性情况 在二维空间中，考虑如下一组数据 ...
【机器学习】支持向量机（一）——最大间隔法与核函数
HerosOfEarth的博客
07-26 8004
支持向量机（Support Vector Machines, SVM）是一个非常出色的二类分类模型，被成功应用于很多机器学习应用中。这里的“机”实质上是指算法。
吴恩达机器学习课后作业——SVM支持向量机
红凯的博客
08-07 1499
本章为吴恩达机器学习课后作业解析，主要内容包括使用支持向量机（SVM）来构建垃圾邮件分类器以及如何在支持向量机中使用高斯核。
机器学习——python实现SVM模型w,b的查看
python_AI_fans的博客
06-09 3387
基于源代码：《机器学习——支持向量机SVM之python实现简单实例一》进行讲解 1、线性模型 这里以二特征三类，一对多策略为案例 kernel = “linear”：线性核，参数有w，b 线性模型的决策边界是：w0iTx0i + w1iTx1i + bi = 0 注：w0iTx0i + w1iTx1i + bi = 1和w0iTx0i + w1iTx1i + bi = -1是穿过支持向量的决策面，边界 i的大小由类别的个数决定，i = n,说明决策函数有n个，因此查看参数的时候，w为一个nx2
python非线性可分支持向量机模型(实现iris分类)
i道i的博客
05-03 2382
内容： 非线性可分支持向量机模型 分别使用线性核﹑多项式核与高斯核对lris 数据集的2/3数据训练支持向量机，剩余1/3数据进行测试，计算正确率。 分别使用线性核、多项式核与高斯核对liis数据集的2/3数据训练支持向量机，剩余1/3数据进行测试，计算正确率。 数据集（150) 具体数据如下（如果不能运行，尝试在末尾加回车） 5.1 3.5 1.4 0.2 1 4.9 3 1.4 0.2 1 4.7 3.2 1.3 0.2 1 4.6 3.1 1.5 0.2 1 5 3.6 1....
机器学习SVM高斯核函数作业中使用python等高线图可视化决策边界
YANHUA的博客
03-22 3342
svc = svm.SVC(C=100, kernel='rbf', gamma=10, probability=True) svc.fit(data[['X1', 'X2']], data['y']) svc.score(data[['X1', 'X2']], data['y']) predict_prob = svc.predict_proba(data[['X1', 'X2']])[:, 0] print(predict_prob.shape) #决策边界 axis=[0, 1, 0.3,1]#初始.
2014斯坦福大学机器学习mkv视频 Lecture12.pptx
03-29
2014斯坦福大学机器学习mkv视频 Lecture12.pptx

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Phoenix_ZengHao

创作不易，能否打赏一瓶饮料？

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值