吴恩达机器学习作业Python3实现(六)：支持向量机SVM

已于 2022-05-27 14:51:24 修改
阅读量757 收藏 8
点赞数 2
分类专栏： 机器学习 文章标签： 机器学习 svm python 支持向量机
于 2021-01-25 12:25:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42723246/article/details/113107219
版权

文章目录

欢迎关注我的 微信公众号：破壳Ai，分享最佳学习路径、教程和资源。成长路上，有我陪你。

支持向量机

在本练习中，我们将使用高斯核函数的支持向量机（SVM）来构建垃圾邮件分类器。

sklearn.svm.LinearSVC

cmap color

数据集

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from scipy.io import loadmat

path = '数据集/ex6data1.mat'
raw_data = loadmat(path)

data = pd.DataFrame(raw_data['X'], columns=['X1', 'X2'])
data['y'] = raw_data['y']

data.head()
X1X2y
01.96434.59571
12.27533.85891
22.97814.56511
32.93203.55191
43.57722.85601
# 绘制图像
plt.scatter(data.X1, data.X2, c=data.y)
plt.show()

png

# 用plot库绘制
def plot_init_pic(data, fig, ax):
    positive = data.loc[data['y']==1]
    negative = data.loc[data['y']==0]
    
    ax.scatter(positive['X1'], positive['X2'], s=50, marker='+', label='Positive')
    ax.scatter(negative['X1'], negative['X2'], s=50, marker='o', label='Negative')

fig, ax = plt.subplots(figsize=(12, 8))
plot_init_pic(data, fig, ax)
ax.set_xlabel('X1')
ax.set_ylabel('X2')
ax.legend()
plt.show()

png

请注意，还有一个异常的正例在其他样本之外。
这些类仍然是线性分离的，但它非常紧凑。 我们要训练线性支持向量机来学习类边界。

try C = 1

from sklearn import svm

# 配置LinearSVC参数
svc = svm.LinearSVC(C=1, loss='hinge', max_iter=20000)
svc

LinearSVC(C=1, class_weight=None, dual=True, fit_intercept=True,
          intercept_scaling=1, loss='hinge', max_iter=20000, multi_class='ovr',
          penalty='l2', random_state=None, tol=0.0001, verbose=0)

# 将之前配置好的模型应用到数据集上
svc.fit(data[['X1', 'X2']], data['y'])
svc.score(data[['X1', 'X2']], data['y'])

0.9803921568627451

找出决策边界再绘制

# 法一： 组建网格然后将网格点带入决策边界函数，找出值近似为0的点就是边界点
def find_decision_boundary(svc, x1min, x1max, x2min, x2max, diff):
    x1 = np.linspace(x1min, x1max, 1000)
    x2 = np.linspace(x2min, x2max, 1000)
    
    coordinates = [(x, y) for x in x1 for y in x2]
    x_cord, y_cord = zip(*coordinates)
    c_val = pd.DataFrame({'x1':x_cord, 'x2':y_cord})
    c_val['val'] = svc.decision_function(c_val[['x1', 'x2']])
    
    decision = c_val[np.abs(c_val['val']) < diff]
    
    return decision.x1, decision.x2

x1, x2 = find_decision_boundary(svc, 0, 5, 1.5, 5, 2 * 10**-3)

# fig. ax = plt.subplots(figsize=(12, 8))  逗号写成了点，jupyter发现不了
fig, ax = plt.subplots(figsize=(12, 8))
ax.scatter(x1, x2, s=1, c='r', label='Boundary')

plot_init_pic(data, fig, ax)

ax.set_title('SVM(C=1) Decition Boundary')
ax.set_xlabel('X1')
ax.set_ylabel('X2')
ax.legend()

plt.show()

png

# The confidence score for a sample is the signed distance of that sample to the hyperplane.
data['SVM1 Confidence'] = svc.decision_function(data[['X1', 'X2']])

fig, ax = plt.subplots(figsize=(8, 6))
ax.scatter(data['X1'], data['X2'], s=50, c=data['SVM1 Confidence'], cmap='seismic')
ax.set_title('SVM(C=1) Decision Confidence')
ax.set_xlabel('X1')
ax.set_ylabel('X2')

# 法二：决策边界, 使用等高线表示
x1 = np.arange(0, 4.5, 0.01)
x2 = np.arange(0, 5, 0.01)
x1, x2 = np.meshgrid(x1, x2)
y_pred = np.array([svc.predict(np.vstack((a, b)).T) for (a, b) in zip(x1, x2)])
plt.contour(x1, x2, y_pred, colors='g', linewidths=1)

plt.show()

png

try C = 400

C对应正则化的 λ \lambda λ， C = 1 λ C = \frac{1}{\lambda} C=λ1​，C越大越容易过拟合。图像中最左侧的点被划分到右侧。

svc1 = svm.LinearSVC(C=400, loss='hinge', max_iter=20000)
svc1.fit(data[['X1', 'X2']], data['y'])
svc1.score(data[['X1', 'X2']], data['y'])

C:\Users\humin\anaconda3\lib\site-packages\sklearn\svm\_base.py:947: ConvergenceWarning: Liblinear failed to converge, increase the number of iterations.
  "the number of iterations.", ConvergenceWarning)





1.0

决策边界

x1, x2 = find_decision_boundary(svc1, 0, 5, 1.5, 5, 8 * 10**-3)  # 这里调整了diff这个阈值，否则决策点连不成一条连续的线

fig, ax = plt.subplots(figsize=(12, 8))
ax.scatter(x1, x2, s=10, c='r', label='Boundary')

plot_init_pic(data, fig, ax)

ax.set_title('SVM(C=400) Decition Boundary')
ax.set_xlabel('X1')
ax.set_ylabel('X2')
ax.legend()

plt.show()

png

# The confidence score for a sample is the signed distance of that sample to the hyperplane.
data['SVM400 Confidence'] = svc1.decision_function(data[['X1', 'X2']])

fig, ax = plt.subplots(figsize=(8, 6))
ax.scatter(data['X1'], data['X2'], s=50, c=data['SVM400 Confidence'], cmap='seismic')
ax.set_title('SVM(C=400) Decision Confidence')
ax.set_xlabel('X1')
ax.set_ylabel('X2')

# 决策边界, 使用等高线表示
x1 = np.arange(0, 4.5, 0.01)
x2 = np.arange(0, 5, 0.01)
x1, x2 = np.meshgrid(x1, x2)
y_pred = np.array([svc1.predict(np.vstack((a, b)).T) for (a, b) in zip(x1, x2)])
plt.contour(x1, x2, y_pred, colors='g', linewidths=.5)

plt.show()

png

高斯核函数 SVM with Gaussian Kernels

def gaussian_kernel(x1, x2, sigma):
    return np.exp(-np.power(x1-x2, 2).sum() / (2 * sigma**2))

x1 = np.array([1, 2, 1])
x2 = np.array([0, 4, -1])
sigma = 2

gaussian_kernel(x1, x2, sigma)

0.32465246735834974

数据集2

接下来，在另一个数据集上使用高斯内核，找非线性边界。

raw_data = loadmat('数据集/ex6data2.mat')
data = pd.DataFrame(raw_data['X'], columns=['X1', 'X2'])
data['y'] = raw_data['y']

fig, ax = plt.subplots(figsize=(12, 8))
plot_init_pic(data, fig, ax)
ax.set_xlabel('X1')
ax.set_ylabel('X2')
ax.legend()
plt.show()

png

svc2 = svm.SVC(C=100, gamma=10, probability=True)
svc2

SVC(C=100, break_ties=False, cache_size=200, class_weight=None, coef0=0.0,
    decision_function_shape='ovr', degree=3, gamma=10, kernel='rbf',
    max_iter=-1, probability=True, random_state=None, shrinking=True, tol=0.001,
    verbose=False)

svc2.fit(data[['X1', 'X2']], data['y'])
svc2.score(data[['X1', 'X2']], data['y'])

0.9698725376593279

直接绘制决策边界

# 法二：利用等高线绘制决策边界
def plot_decision_boundary(svc, x1min, x1max, x2min, x2max, ax):
#     x1 = np.arange(x1min, x1max, 0.001)
#     x2 = np.arange(x2min, x2max, 0.001)
    x1 = np.linspace(x1min, x1max, 1000)
    x2 = np.linspace(x2min, x2max, 1000)
    
    x1, x2 = np.meshgrid(x1, x2)
    y_pred = np.array([svc.predict(np.vstack((a, b)).T) for (a, b) in zip(x1, x2)])
        
    ax.contour(x1, x2, y_pred, colors='r', linewidths=5)

fig, ax = plt.subplots(figsize=(12, 8))

plot_init_pic(data, fig, ax)
plot_decision_boundary(svc2, 0, 1, 0.4, 1, ax)

ax.set_xlabel('X1')
ax.set_ylabel('X2')
ax.legend()
plt.show()

# 10秒

png

# 法一 要15秒
x1, x2 = find_decision_boundary(svc2, 0, 1, 0.4, 1, 0.01)  # 这里调整了diff这个阈值，否则决策点连不成一条连续的线

fig, ax = plt.subplots(figsize=(12, 8))
ax.scatter(x1, x2, s=5, c='r', label='Boundary')

plot_init_pic(data, fig, ax)

ax.set_title('SVM(C=400) Decition Boundary')
ax.set_xlabel('X1')
ax.set_ylabel('X2')
ax.legend()

plt.show()

png

数据集3

对于第三个数据集，我们给出了训练和验证集，并且基于验证集性能为SVM模型找到最优超参数。
我们现在需要寻找最优和，候选数值为[0.01, 0.03, 0.1, 0.3, 1, 3, 10, 30, 100]

raw_data = loadmat('数据集/ex6data3.mat')
data = pd.DataFrame(raw_data['X'], columns=['X1', 'X2'])
data['y'] = raw_data['y']

Xval = raw_data['Xval']
yval = raw_data['yval']

fig, ax = plt.subplots(figsize=(12, 8))
plot_init_pic(data, fig, ax)
ax.set_xlabel('X1')
ax.set_ylabel('X2')
ax.legend()
plt.show()

png

找最优超参数

C_values = [0.01, 0.03, 0.1, 0.3, 1, 3, 10, 30, 100]
gamma_values = [0.01, 0.03, 0.1, 0.3, 1, 3, 10, 30, 100]

best_score = 0
best_params = {'C':None, 'gamma':None}
for c in C_values:
    for gamma in gamma_values:
        svc = svm.SVC(C=c, gamma=gamma, probability=True)  
        svc.fit(data[['X1', 'X2']], data['y']) # 用训练集训练
        score =  svc.score(Xval, yval)  # 用验证集选优
        if score > best_score:
            best_score = score
            best_params['C'] = c
            best_params['gamma'] = gamma
best_score, best_params

(0.965, {'C': 0.3, 'gamma': 100})

绘制决策曲线

svc3 = svm.SVC(C=best_params['C'], gamma=best_params['gamma'], probability=True)
svc3

SVC(C=0.3, break_ties=False, cache_size=200, class_weight=None, coef0=0.0,
    decision_function_shape='ovr', degree=3, gamma=100, kernel='rbf',
    max_iter=-1, probability=True, random_state=None, shrinking=True, tol=0.001,
    verbose=False)

svc3.fit(data[['X1', 'X2']], data['y'])
svc3.score(data[['X1', 'X2']], data['y'])

0.95260663507109

fig, ax = plt.subplots(figsize=(12, 8))

plot_init_pic(data, fig, ax)
plot_decision_boundary(svc3, -0.6, 0.3, -0.7, 0.6, ax)

ax.set_xlabel('X1')
ax.set_ylabel('X2')
ax.legend()
plt.show()

png

垃圾邮件处理

在这一部分中，我们的目标是使用SVM来构建垃圾邮件过滤器。

特征提取的思路：

首先对垃圾邮件进行预处理：

Lower-casing

Stripping HTML

Normalizing URLs

Normalizing Email Addresses

Normalizing Numbers

Normalizing Dollars

Word Stemming

Removal of non-words

然后统计所有的垃圾邮件中单词出现的频率，提取频率超过100次的单词，得到一个单词列表。

将每个单词替换为列表中对应的编号。

提取特征：每个邮件对应一个n维向量 R n R^n Rn， x i ∈ 0 , 1 x_i \in {0, 1} xi​∈0,1，如果第i个单词出现，则 x i = 1 x_i=1 xi​=1，否则 x i = 0 x_i=0 xi​=0

本文偷懒直接使用已经处理好的特征和数据…

spam_train = loadmat('数据集/spamTrain.mat')
spam_test = loadmat('数据集/spamTest.mat')

spam_train
spam_train.keys(), spam_test.keys()   # 这个好，不用把所有数据打印出来就能直接看到数据的标签

(dict_keys(['__header__', '__version__', '__globals__', 'X', 'y']),
 dict_keys(['__header__', '__version__', '__globals__', 'Xtest', 'ytest']))

X = spam_train['X']
Xtest = spam_test['Xtest']

y = spam_train['y'].ravel()
ytest = spam_test['ytest'].ravel()

X.shape, y.shape, Xtest.shape, ytest.shape

((4000, 1899), (4000,), (1000, 1899), (1000,))

每个文档已经转换为一个向量，其中1,899个维对应于词汇表中的1,899个单词。 它们的值为二进制，表示文档中是否存在该单词。

svc4 = svm.SVC()
svc4.fit(X, y)

SVC(C=1.0, break_ties=False, cache_size=200, class_weight=None, coef0=0.0,
    decision_function_shape='ovr', degree=3, gamma='scale', kernel='rbf',
    max_iter=-1, probability=False, random_state=None, shrinking=True,
    tol=0.001, verbose=False)

print('Training accuracy = {0}%'.format(np.round(svc4.score(X, y) * 100, 2)))
print('Test accuracy = {0}%'.format(np.round(svc4.score(Xtest, ytest) * 100, 2)))

Training accuracy = 99.32%
Test accuracy = 98.7%

找出垃圾邮件敏感单词

kw = np.eye(1899)  # 为每个单词生成一个向量，每一行代表一个单词
spam_val = pd.DataFrame({'idx':range(1899)})

print(kw[:3,:])

[[1. 0. 0. ... 0. 0. 0.]
 [0. 1. 0. ... 0. 0. 0.]
 [0. 0. 1. ... 0. 0. 0.]]

spam_val['isspam'] = svc4.decision_function(kw)

spam_val.head()
idxisspam
00-0.093653
11-0.083078
22-0.109401
33-0.119685
44-0.165824
spam_val['isspam'].describe()  

count    1899.000000
mean       -0.110039
std         0.049094
min        -0.428396
25%        -0.131213
50%        -0.111985
75%        -0.091973
max         0.396286
Name: isspam, dtype: float64

decision = spam_val[spam_val['isspam'] > 0] # 提取出垃圾邮件敏感单词
decision
idxisspam
1551550.095529
1731730.066666
2972970.396286
3513510.023785
3823820.030317
4764760.042474
4784780.057344
5295290.060692
5375370.008558
6806800.109643
6976970.003269
7387380.092561
7747740.181496
7917910.040396
100810080.012187
108810880.132633
110111010.002832
112011200.003076
116311630.072045
117811780.012122
118211820.015656
119011900.232788
126312630.160806
129812980.044018
137213720.019640
139713970.218337
139913990.018762
146014600.001859
146714670.002822
151915190.001654
166116610.003775
172117210.057241
174017400.034107
179517950.125143
182318230.002071
182918290.002630
185118510.030662
189218920.052786
189418940.101613
path = '数据集/vocab.txt'
voc = pd.read_csv(path, header=None, names=['idx', 'voc'], sep='\t')
voc.head()
idxvoc
01aa
12ab
23abil
34abl
45about
spamvoc = voc.loc[decision['idx']]

spamvoc
idxvoc
155156basenumb
173174below
297298click
351352contact
382383credit
476477dollar
478479dollarnumb
529530email
537538encod
680681free
697698futur
738739guarante
774775here
791792hour
10081009market
10881089nbsp
11011102nextpart
11201121numbera
11631164offer
11781179opt
11821183order
11901191our
12631264pleas
12981299price
13721373receiv
13971398remov
13991400repli
14601461se
14671468see
15191520sincer
16611662text
17211722transfer
17401741type
17951796visit
18231824websit
18291830welcom
18511852will
18921893you
18941895your

欢迎关注我的 微信公众号：破壳Ai，分享最佳学习路径、教程和资源。成长路上，有我陪你。

Yuddo
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Ex6_机器学习_吴恩达课程作业（Python）：SVM支持向量机（Support Vector Machines）
ZZay's
01-28 1835
Ex6_机器学习_吴恩达课程作业（Python）：SVM支持向量机（Support Vector Machines） 文章目录Ex6_机器学习_吴恩达课程作业（Python）：SVM支持向量机（Support Vector Machines）0. Pre-condition00. Self-created FunctionsloadData(path)：读取数据plotData(X, y)：可视化数据plotBoundary(classifier, X)：绘制类别间的决策边界displayBoundarie
吴恩达机器学习课程-作业6-支持向量机（python实现）
weixin_44027820的博客
03-03 2430
Machine Learning(Andrew) ex4-Support Vector Machines 椰汁笔记 Support Vector Machines 这个算法是干什么的？ 分类算法，和逻辑回归类似。 这个算法的优点是什么？ 这个算法又叫做最大间距分类算法。 下面这张图就是很好的解释，对于下面的分类问题之前的逻辑回归的决策边界可能是粉色或者绿色的线。可以看到虽然是成功将数据集分为...
机器学习SVM(支持向量机)实验报告.pdf
06-14
机器学习SVM(支持向量机)实验报告.pdf机器学习SVM(支持向量机)实验报告.pdf机器学习SVM(支持向量机)实验报告.pdf机器学习SVM(支持向量机)实验报告.pdf机器学习SVM(支持向量机)实验报告.pdf机器学习SVM(支持向量机)实验报告.pdf机器学习SVM(支持向量机)实验报告.pdf机器学习SVM(支持向量机)实验报告.pdf
支持向量机（SVM）的分析及python实现
热门推荐
分享人工智能学习心得与实践经验，探讨应用场景，见证变革与进步
10-29 14万+
本文所有代码都是基于python3.6的，数据及源码下载：传送门引言今天我们算是要来分享一个“高级”的机器学习算法了——SVM。大家自学机器学习一般都会看斯坦福的CS229讲义，初学者们大都从回归开始步入机器学习的大门。诚然回归学习起来与使用起来都很简单，但是这能达到我们的目的么？肯定不够的，要知道，我们可以做的不仅仅是回归。如果我们把机器学习算法看作是一种带斧子，剑，刀，弓，匕首等的武器，你有各种
机器学习——SVM支持向量机实验
匿名用户
10-10 2180
实验2：支持向量机 介绍 在本实验中，将使用支持向量机(Support Vector Machine, SVM)并了解其在数据上的工作原理。 本次实验需要用到的数据集包括： ex2data1.mat -线性SVM分类数据集 ex2data2.mat -高斯核SVM分类数据集 ex2data3.mat -交叉验证高斯核SVM分类数据集 评分标准如下： 要点1：使用线性SVM-----------------（20分） 要点2：定义高斯核---------------------（20分） 要点3：使用
sklearn实战-----7.支持向量机SVM（上）
zjmy的博客
06-16 2047
1 概述 支持向量机（SVM，也称为支持向量网络），是机器学习中获得关注最多的算法没有之一。它源于统计学习理论， 是我们除了集成算法之外，接触的第一个强学习器。它有多强呢？ 从算法的功能来看，SVM几乎囊括了我们前六周讲解的所有算法的功能： 功能 有监督学习 线性二分类与多分类（Linear Support Vector Classification） 非线性二分类与多分类（Support Vector Classification, SVC） 普通连续型变量的回归（Support Vecto
[机器学习实战] 支持向量机
Joker_Ha_Ha_Ha的博客
12-26 935
一、概述 支持向量机是常用的一类分类模型，它通过在两类数据之间寻找一个超平面来分隔不同类的数据。支持向量机最后对应一个二次规划模型（其最优化问题的对偶问题），可以使用通常二次规划求解方法求解，也可以使用Platt在1996年提出的SMO（Sequential Minimal Optimization），它通过一种启发式的误差修正方法求解。 二、算法介绍 支持向量机（support vector machines, SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔.
编程作业（python）| 吴恩达 机器学习（6）支持向量机 SVM
12-21
∗∗∗ 点击查看 :吴恩达机器...本次作业的理论部分：吴恩达机器学习（七）支持向量机 编程环境：Jupyter Notebook 1. 线性 SVM 任务 观察惩罚项系数 C 对决策边界的影响，数据集：data/ex6data1.mat 在理论部分，
吴恩达机器学习课后作业python代码.rar
03-25
"吴恩达机器学习课后作业python代码.rar" 这个标题表明了文件的内容，它是吴恩达（Andrew Ng）教授的机器学习课程相关的课后作业解决方案，采用Python编程语言实现。吴恩达是斯坦福大学的计算机科学教授，也是...
吴恩达机器学习课程作业python实现.zip
最新发布
06-14
《吴恩达机器学习课程作业Python实现》是一个针对大学生的Python学习资源，旨在帮助学生深入理解和实践吴恩达教授的机器学习课程中的理论知识。这个压缩包包含了一份珍贵的学习资料——"zgl_resource"，这可能是一个...
机器学习4. 支持向量机
黛玛日孜的博客
09-14 751
理论情况下，高斯核函数可以将数据映射到无限多维，高斯核函数可展开维泰勒级数，无线逼近。核函数的作用，如果只是做线性分类，好像轮不到SVM登场了，核函数才是它的强大之处！可以对每一个实例（样本数据点）创建一个地标，此时会将。核函数：#gamma越小，辐射范围越大，过拟合可能性越小。软间隔的作用，这么复杂的算法肯定会导致过拟合现象，如何来进行解决呢？因为特征是2维的，所以w也是2维的。m表示样本个数，n表示特征个数。
机器学习入门笔记(八)----支持向量机SVM
end's coding life
09-25 943
支持向量机SVM在复杂的非线性方程方面，比逻辑回归和神经网络表现的更为清晰、强大。 1. 通过逻辑回归了解SVM大致形式 设z = thetaT * x 假设函数：h(x) = 1 / (1 + e^(-z)) 分类为1  if h > 0.5 即 z >0 分类为0  if h 代价函数： 两图分别为y=1和y=0时的曲线，粉色手绘图为曲线的近似折线表示。为别取名co
实验六 支持向量机
qq_53944577的博客
12-06 3341
一、实验目的 使用Python实现支持向量机。 二、实验原理 支持向量机所作的事情其实非常容易理解。先来看看下面这一组数据的分布，这是一组两种标签的数据，两种标签分别由圆和方块代表。支持向量机的分类方法，是在这组分布中找出一个超平面作为决策边界，使模型在数据上的分类误差尽量接近于小，尤其是在未知数据集上的分类误差（泛化误差）尽量小。 三、Python包 （1）sklearn （2）mglearn （3）matplotlib （4）numpy 四、问题描述 有如下数据集： X : [[-2.23 -1. ]
机器学习之支持向量机(SVM)实战
weixin_47166032的博客
08-04 1841
支持向量机 支持向量机(support vector machine)，一般简称SVM，通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最 大化，最终可转化为一个凸二次规划问题的求解。最初SVM被用来解决线性分类问题，但自从90年代中加入了核方法后，它也可以有效解决非线性问题，其优点是能适应“小样本数量，高特征维度”的数据集，即使是特征维度数高于训练样本数据的情况。 下面我们来了解几个SVM的概念： 1超平面 所谓的超平面在一维空间就是一个点，二维空间是一
机器学习原理与实战 | SVM（支持向量机）实践
Clichong
09-13 524
文章目录1. 二维SVM分类例子2. 多维SVM分类例子2.1 高斯核函数2.2. 多项式核函数2.3 多项式 LinearSVC %matplotlib inline import matplotlib.pyplot as plt import numpy as np 1. 二维SVM分类例子 from sklearn.datasets import make_blobs X, y = make_blobs(n_samples=100, centers=2, ra
机器学习实战（python3)
qq_43163978的博客
03-08 230
码源&资料
Python3之机器学习
weixin_43670105的博客
04-17 169
机器学习的一些概念： 最早的机器学习–垃圾邮件分类 怎么做的： 编写规则，定义"垃圾邮件" 对于很多问题，规则很难定义 规则不断变化 现在的应用： 图像识别 人脸识别 数字识别 等等 机器学习的一些算法： KNN SVM 线性回归 决策树 多项式回归 随机森林 逻辑回归 集成学习 模型正则化 模型选择 PCA 模型调整 需要考虑的一些问题： 如何评价算...
如何用Python计算特征重要性？
liuhongyue的博客
07-07 6369
特征重要性评分是一种为输入特征评分的手段，其依据是输入特征在预测目标变量过程中的有用程度。 特征重要性有许多类型和来源，尽管有许多比较常见，比如说统计相关性得分，线性模型的部分系数，基于决策树的特征重要性和经过随机排序得到重要性得分。 特征重要性在预测建模项目中起着重要作用，包括提供对数据、模型的见解，以及如何降维和选择特征，从而提高预测模型的的效率和有效性。 在本教程中，我将会阐述用于python机器学习的特征重要性。完成本教程后，你将会知道： 特征重要性在预测建模中的作用 如何计算和查看来自线
[Python3] 机器学习 ——（二）Scikit-Learn简介
進撃の算法
05-17 3275
二、Scikit-Learn简介 Scikit-Learn为各种常用机器学习算法提供了高效版本。 （一）Scikit-Learn的数据表示 机器学习是从数据创建模型的学问，因此首先需要了解怎样表示数据爱你让计算机理解。Scikit-Learn认为数据表示（data representation）最好的方法就是用数据表的形式。 1. 数据表 基本的数据表就是二维网格数据，其中的每一行表示数据集中的每个样本（samples），而列表示构成每个样本的相关特征（features）。 # 鸢尾花数据集 import
深度解析：吴恩达机器学习课程——支持向量机（SVM）
"吴恩达教授的机器学习课程讲义，专注于支持向量机（SVM）部分，涵盖了从基础的margin概念到最优margin分类器、拉格朗日对偶性、核函数以及SMO算法的详细内容。" 在机器学习领域，支持向量机（Support Vector ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值