机器学习sklearn实战笔记(三)

最新推荐文章于 2024-05-04 06:28:19 发布
最新推荐文章于 2024-05-04 06:28:19 发布
阅读量539 收藏 2
点赞数
分类专栏： 教程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33935895/article/details/104158700
版权

其他问题

升级sklearn到最新版本

conda install scikit-learn=0.21

升级matplotlib到最新版本

conda install matplotlib=3.1.0

支持向量机(SVM)
支持向量机实现简单二分类任务并绘图
详细
  1. 二分类任务
  2. 样本数:40,特征数,2
  3. 无核函数
  4. 正负样本平衡
目标
  1. 对样本数据进行分类并绘图
详细代码
# 支持向量机的例子
from sklearn.model_selection import train_test_split

import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm
from sklearn.datasets import make_blobs

# 使用make_blobs创建了40个点
# 默认是两个特征 
# n_samples:样本数量, 
# centers 创建的中心数(几类), 
# random_state 指定一个数,保证每次生成的数据相同
# cluster_std 两类样本的方差,调整方差使点更加松散 
X, y = make_blobs(n_samples=40, centers=2, random_state=6, cluster_std=[1.0, 2.0])

#  C是惩罚系数，即对误差的宽容度。c越高，说明越不能容忍出现误差,容易过拟合
#  C越小，容易欠拟合。C过大或过小，泛化能力变差
#  kernel 这里选择的是线性核,即是最简单的线性svm
clf = svm.SVC(kernel='linear', C=1000)

#分割成训练集和测试集, test_size是比例 ,指定random_state会使每次分割的数据集相同
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=14)
#进行模型训练
clf.fit(X_train, y_train)
#模型预测
clf.predict(X_test)
#打印预测的分数
_score = clf.score(X_test, y_test)
print(_score) #0.8333333333333334


# 画点
# 测试集: 横坐标, 纵坐标, c=y_train y_train的值不同,点的颜色也不同, cmap指定一种颜色分布规律
plt.scatter(X_train[:, 0], X_train[:, 1], c=y_train, s=30, cmap=plt.cm.Paired)
# 训练集: 横坐标, 纵坐标, marker 代表训练集的点使用x来表示,默认是o
plt.scatter(X_test[:, 0], X_test[:, 1], c=y_test, s=30, cmap=plt.cm.Paired, marker="x")

#接下来是画svm的超平面
ax = plt.gca()

xlim = ax.get_xlim()  # 获得x轴最大最小值
# print(xlim) (3.976374301845057, 10.80436834848946)
ylim = ax.get_ylim()  # 获得y轴最大最小值
# print(ylim) (-11.076622589861897, -1.0862982622797808)

#将x轴,y轴分别分成30份
xx = np.linspace(xlim[0], xlim[1], 30)  
yy = np.linspace(ylim[0], ylim[1], 30)

# 接受两个一维数组生成两个二维矩阵,
# XX (30, 30)
# YY (30, 30)
YY, XX = np.meshgrid(yy, xx)


# 拉平XX矩阵, 拉平YY矩阵, 并将矩阵竖着拼接
# print(XX.ravel())
# print("---------")
# print(YY.ravel())
# print("---------")
# print(np.vstack([XX.ravel(), YY.ravel()]))
# print("---------")
# print(np.vstack([XX.ravel(), YY.ravel()]).T) # 进行行列转换
# print("---------")
xy = np.vstack([XX.ravel(), YY.ravel()]).T  # shape(900,2)  xy即每对 (x,y)点坐标

# decision_function 计算出每队(x,y)点到超平面的函数间隔,并使用reshape还原成之前点的矩阵形式
# 求出了每个点的z值,z即是超平面的函数间隔
Z = clf.decision_function(xy).reshape(XX.shape)

# 画出决策边界
ax.contour(XX, YY, Z, colors='k', levels=[-1, 0, 1], alpha=0.5,
           linestyles=['--', '-', '--'])  # alpha表示透明度 cmap渐变标准

# 支持向量上划圈
# clf.support_vectors_  获得支持向量
# s是圆圈的大小 linewidth是线的粗细 facecolors是颜色填充 edgecolors 边界的颜色
ax.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], s=500,
           linewidth=1, facecolors='none', edgecolors='k')
plt.show()  #画图
结果图

在这里插入图片描述

结果分析
  1. 圈起来的是支持向量
  2. 不同颜色代表不同样本
  3. 虚线代表决策边界
  4. x代表测试集,o代表训练集
  5. 分割正确的样本会出现在正确的位置,否则会落在边界或者是错误的位置
附录

make_blobs模块的使用

linspace(a,b,10) 生成从a到b 10个数的等差数列

meshgrid 将两个向量合并成一个矩阵

ravel 矩阵拉成一行

vstack 矩阵列合并

.T 矩阵转置

具有单变量特征选择的SVM
详细
目标
  1. 测试不同特征选择率下的数据拟合效果并绘图
详细代码
# 具有单变量特征选择的SVM
#  https://scikit-learn.org/stable/auto_examples/svm/plot_svm_anova.html#sphx-glr-auto-examples-svm-plot-svm-anova-py
#  SVM-Anova: SVM with univariate feature selection

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
from sklearn.feature_selection import SelectPercentile, chi2
from sklearn.model_selection import cross_val_score
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC

# #############################################################################
# return_X_y控制输出数据的结构，若选为True，则将因变量和自变量独立导出；
# 即X 对应data y对应target
X, y = load_iris(return_X_y=True)  # 导入数据
# print(X.shape)  # (150, 4)
# 设置随机数种子,保证每次随机到的数据相同
np.random.seed(0)
x_shape_ = 2 * np.random.random((X.shape[0], 36))  # 生成一个随机数矩阵
# print(x_shape_.shape)  # (150, 36)
X = np.hstack((X, x_shape_))
# print(X.shape)  # (150, 40) 

# #############################################################################
# Pipeline, 数据按照给定的参数顺序进行处理,按顺序执行列表中的 ----transform---方法

# 特征选择: 就是看自变量对因变量的相关性
# SelectPercentile 选择排名排在前n%的变量  默认percentile=10  即选择前10%最相关的特征,选择方法:卡方检验(chi2)
# chi2 卡方检验

# preprocessing.scale 是归一化方法,数据会缩到(0,1)范围
# StandardScaler 另一种特征缩放方法,但不会缩到(0,1)范围 但对异常点不敏感
clf = Pipeline([('anova', SelectPercentile(chi2)),
                ('scaler', StandardScaler()),
                ('svc', SVC(gamma="auto"))])

# #############################################################################
# 创建用于绘图的数据
score_means = list()   # mean平均数
score_stds = list()  # std标准差
percentiles = (1, 3, 6, 10, 15, 20, 30, 40, 60, 80, 100)

# anova 方差分析
# 用于确定特征选择的百分比的不同水平对结果的影响程度如何
for percentile in percentiles:
    # anova__percentile 改变前面别名anova的percentile参数的 也就是设置		SelectPercentile.percentile属性,即:改变特征选择的百分比
    clf.set_params(anova__percentile=percentile)
    # 最简单的交叉验证方法，cv选择折数，默认是3折交叉验证 这里是 5折交叉验证
    this_scores = cross_val_score(clf, X, y, cv=5)
    score_means.append(this_scores.mean()) 
    score_stds.append(this_scores.std())  

# errorbar  绘制误差条,即图片上的一堆竖线  
# 横坐标百分比, 纵坐标是平均值 , 误差是 np.array(score_stds)
plt.errorbar(percentiles, score_means, yerr=np.array(score_stds))
# plt.errorbar(percentiles, score_means, np.array(score_stds))   以上两个代码等效

# 所选特征的百分比的改变所引起的SVM方差分析的性能改变程度
plt.title(
    'Performance of the SVM-Anova varying the percentile of features selected')
plt.xticks(np.linspace(0, 100, 11, endpoint=True))  # 设置横坐标刻度
plt.xlabel('Percentile')
plt.ylabel('Accuracy Score')
plt.axis('tight')
plt.show()
结果图

在这里插入图片描述

结果分析
  1. 在此例中,特征选择率是10%时,准确率最高
  2. 竖线是误差条
附录
  1. pipeline
    • Pipeline构造器接受(name, transform) tuple的列表作为参数。按顺序执行列表中的 ----transform----，完成数据预处理
    • 除了最后一个tansform，其余的transform必须实现fit_transform函数
    • 上一个transform类中fit_transform函数的返回值作为下一个transform类fit_transform函数的参数，所以在自己实现自定义的transform类的时候必须要实现fit_transform函数
    • fit_transform 返回值为 numpy array
  2. SelectPercentile/SelectKBest 特征选择,选择排名靠前特征作为新特征
    • SelectPercentile 选择排名排在前n%的变量 默认percentile=10 即选择前10%最相关的特征,
    • 特征选择方法:卡方检验(chi2)
    • SelectKBest选择排名排在前n个的变量
  3. StandardScaler 特征缩放
    • 一种特征缩放方法,但不会缩到(0,1),对异常点不敏感
    • StandardScaler 使用该类的好处在于可以保存训练集中的参数（均值、方差）直接使用其对象转换测试集数据。
    • preprocessing.scale 是另一种特征缩放方法,又称归一化方法,数据会缩到(0,1)范围
非线性svm
详细
  1. 二分类任务
  2. 样本数300
  3. 非线性svm, 高斯核(rbf)
  4. 正负样本均衡
目标
  1. 对样本数据进行分类并绘图
详细代码
#  非线性SVM
#  Non-linear SVM
#  https://scikit-learn.org/stable/auto_examples/svm/plot_svm_nonlinear.html#sphx-glr-auto-examples-svm-plot-svm-nonlinear-py

import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm

# 模拟数据
from sklearn.model_selection import train_test_split

xx, yy = np.meshgrid(np.linspace(-3, 3, 500),
                     np.linspace(-3, 3, 500))
np.random.seed(0)
X = np.random.randn(300, 2)  # randn函数返回一个或一组样本，具有标准正态分布  shape(300,2)
# 为样本添加标签
# 逻辑或操作,如果第一个特征和第二个特征均大于0则为true,否则为false,(true,和false这里作为标签)
Y = np.logical_xor(X[:, 0] > 0, X[:, 1] > 0)  # shape(300,) 1行300个 bool数组

X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=0.3, random_state=14)

# fit the model
# 采用 rbf内核 Radial Based Function 指的是我们要计算的函数的结果只和距离(∥x−xn∥)有关；
# rbf内核可以进行非线性分类
# 与SVC类似，但使用一个参数来控制支持向量的数量
clf = svm.NuSVC(gamma='auto')
# clf = svm.LinearSVC()  如果是linear内核就只能是线性的   polynomial内核  (多项式内核)也是非线性的
# clf = svm.SVC()
clf.fit(X_train, y_train)
y_res = clf.predict(X_test)
_score = clf.score(X_test, y_test)
print(_score)

# np.r_是按列连接两个矩阵，就是把两矩阵上下相加，要求列数相等。  添加行
# np.c_是按行连接两个矩阵，就是把两矩阵左右相加，要求行数相等。  添加列
Z = clf.decision_function(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)

# 绘制热图
# Z 类数组对象(array_like)，shape(n,m) 或者(n,m,3)或者(n,m,4) 分别对应颜色表示方式
# 热图（heatmap）是数据分析的常用方法，通过色差、亮度来展示数据的差异、易于理解
# interpolation代表的是插值运算，'nearest'只是选取了其中的一种插值方式 用于图片缩放
# aspect='auto' 则改变图片的横纵比、以便适应坐标轴的横纵比
# extent 图表的X、Y轴的刻度标签所指定的范围. 即让指定了图像四个角的坐标
# 使用origin =’upper’,数组Z的[0,0]索引位于范围的左上角.如果origin =’lower’,它将被放置在左下角.
plt.imshow(Z, interpolation='nearest',
           extent=(xx.min(), xx.max(), yy.min(), yy.max()), aspect='auto',
           origin='upper', cmap=plt.cm.PuOr_r)
contours = plt.contour(xx, yy, Z, levels=[0], linewidths=2,
                       linestyles='dashed')
plt.scatter(X_train[:, 0], X_train[:, 1], s=30, c=y_train, cmap=plt.cm.Paired,
            edgecolors='k')
plt.scatter(X_test[:, 0], X_test[:, 1], s=30, c=y_test,
            edgecolors='k', marker="x", cmap=plt.cm.Paired)
# 设置横纵坐标,因为没有参数,相当于取消横纵坐标
plt.xticks(())
plt.yticks(())
plt.axis([-3, 3, -3, 3])
plt.show()
结果图
  1. 使用非线性svm

在这里插入图片描述

  1. 使用线性svm

在这里插入图片描述

结果分析
  1. 使用非线性的svm在此例中效果明显更好
附录

matplotlib.pyplot.imshow()方法

在matplotlib中缩放图像而不更改轴

年糕糕糕
关注
专栏目录
机器学习sklearn实战笔记(一)
年糕的博客
07-06 1409
写在开始的话: 本系列教程主要以讲解代码的方式,注重程序代码本身,以一个个实战列子来熟悉sklearn和机器学习,适用于有一定理论基础却没有手写过代码的同学,如:刚看完吴恩达的机器学习视频,打算实战的同学. 什么是sklearn?TensorFlow又是什么? sklearn是python的一个非常流行的机器学习库. TensorFlow是google研发的非常流行的深度学习库. 简单讲,深度学习...
机器学习：在Python中sklearn库的使用，纯干货！12个小时的整理！
最新发布
CKissjy的博客
05-28 1275
今天演示了关于scikit-learn在无监督学习方面的使用。后续会出scikit-learn在其他方面的使用，大家可以关注起来！
sklearn机器学习——day08
weixin_44267765的博客
09-15 712
sklearn
scikit-learn工具包中分类模型predict_proba、predict、decision_function用法详解
胖胖大海的博客
06-13 5万+
在使用sklearn训练完分类模型后，下一步就是要验证一下模型的预测结果，对于分类模型，sklearn中通常提供了predict_proba、predict、decision_function三种方法来展示模型对于输入样本的评判结果。 说明一下，在sklearn中，对于训练好的分类模型，模型都有一个classes_属性，classes_属性中按顺序保存着训练样本的类别标记。下面是使用Logistic Regression分类器在为例，展示一下分类器的classes_属性。 1、先看一下样本标签从0...
Python 让你一遍记住混淆矩阵及衍生指标
程志伟的博客
04-22 1514
关注微信公共号：小程在线 关注CSDN博客：程志伟的博客 为了更好的理解下面的话，推荐阅读https://blog.csdn.net/c1z2w3456789/article/details/105247565（PYthon 教你怎么选择SVM的核函数kernel及案例分析），也可以直接跳过前一部分，直接阅读混淆矩阵部分。 有一些数据，可能是线性可分，但在线性可分状况下训练准确率不能达到...
《菜菜的机器学习sklearn课堂》sklearn入门与决策树
2401_84004024的博客
04-30 929
4、建立模型（clf = tree.DecisionTreeClassifier(criterion=“entropy”) #建模clf = clf.fit(Xtrain, Ytrain) #训练模型score = clf.score(Xtest, Ytest) #返回预测的准确度score5、画出一棵树吧。
《菜菜的机器学习sklearn课堂》数据预处理和特征工程
2301_76379381的博客
05-04 732
数据类型以及常用的统计量处理连续型特征：二值化与分段。
《菜菜的机器学习sklearn课堂》聚类算法Kmeans
2401_83977357的博客
04-30 565
很容易理解轮廓系数范围是(-1,1)值越接近1表示样本与自己所在的簇中的样本很相似，并且与其他簇中的样本不相似当样本点与簇外的样本更相似的时候，轮廓系数就为负。当轮廓系数为0时，则代表两个簇中的样本相似度一致，两个簇本应该是一个簇。
《菜菜的机器学习sklearn课堂》随机森林应用泛化误差调参实例
2401_83977689的博客
04-27 319
面试是跳槽涨薪最直接有效的方式，马上金九银十来了，各位做好面试造飞机，工作拧螺丝的准备了吗？掌握了这些知识点，面试时在候选人中又可以夺目不少，暴击9999点。机会都是留给有准备的人，只有充足的准备，才可能让自己可以在候选人中脱颖而出。侧,我们需要的是更高的复杂度,因此我们应该把max_features往更大的方向调整,可用的特征越多,模型才会越复杂。max_features的默认最小值是sqrt(n_features),因此我们使用这个值作为调参范围的最小值。“”"
《零基础学机器学习》读书笔记五之机器学习项目实战架构
青青木屋
02-04 679
机器学习项目实战指导
sklearn中的支持向量机SVM（下）
weixin_39736118的博客
03-21 355
我们在SVM中利用超平面来判断我们的样本，本质上来说，当两个点的距离是相同的符号的时候，越远离超平面的样本点归属于某个标签类的概率就很大。不过，它也可以做多分类，但是SVC在多分类情况上的推广，属于恶魔级别的难度，要从数学角度去理解几乎是不可能的，因为要研究透彻多分类状况下的SVC，就必须研究透彻多分类时所需要的决策边界个数，每个决策边界所需要的支持向量的个数，以及这些支持向量如何组合起来计算我们的拉格朗日乘数，要求我们必须对SMO或者梯度下降求解SVC的拉格朗日乘数的过程十分熟悉。
python sklearn decision_function、predict_proba、predict
o1101574955的专栏
04-17 2万+
import matplotlib.pyplot as plt import numpy as np from sklearn.svm import SVC X = np.array([[-1,-1],[-2,-1],[1,1],[2,1],[-1,1],[-1,2],[1,-1],[1,-2]]) y = np.array([0,0,1,1,2,2,3,3]) # y=np.array([1,1
机器学习---SVM一些简单的例子（XOR逻辑分类、最大间隔超平面、一维回归、SVM分类、权重、类别不平衡、核函数、单变量特征选择、参数C、非线性核、不同类型的SVM、正则化参数、RBF核参数组合）
weixin_43961909的博客
11-15 550
使用 np.sort(5 * np.random.rand(40, 1), axis=0) 生成了 40 个一维的随机数据点 X。(kernel='rbf')、线性核 (kernel='linear')、多项式核 (kernel='poly')。使用 plt.scatter() 绘制数据点，其中颜色 c=y 表示类别，s = 30表示点的大小，camp =使用 np.sin(X).ravel() 生成对应的目标值 y，这里的目标值是输入数据的正弦函数的值。
支持向量机-关于predict_proba、decision_function
liu20020918zz的博客
11-15 1309
前一篇文章中，对有疑问，为什么比阈值大的标签就是1，反之就是0，本篇文章就是来探讨这个问题，并对decision_function会有更详细的解释首先我们先看二分类的数据，为了便于展示，我们使用二维数据这里为decision_function更好理解，所以我们要画出分离超平面和决策边界。
机器学习sklearn19.0——集成学习——boosting与梯度提升算法（GBDT）、Adaboost算法
loveliuzz的博客
12-17 2678
一、boosting算法原理
机器学习--支持向量机（六）径向基核函数（RBF）详解
热门推荐
进击的菜鸟
10-21 10万+
前面讲解了什么是核函数，以及有效核函数的要求，到这里基本上就结束了，很多博客也是如此，但是呢这些只是理解支持向量机的原理，如何使用它讲解的却很少，尤其是如何选择核函数更没有人讲，不讲也是有原因的，因为核函数的选择没有统一的定论，这需要使用人根据不同场合或者不同问题选择核函数，选择的标准也没有好的指导方法，一般都是尝试使用，所以选择核函数就需要看使用者的经验了，研究者们也在一直研究这种方法，这方面的...
非线性支持向量机
Soul977的博客
12-09 1015
任务描述 本关任务：使用sklearn实现非线性支持向量机，并通过鸢尾花数据中训练集对模型进行训练，再对测试集鸢尾花数据进行分类。 相关知识 为了完成本关任务，你需要掌握：1.核技巧，2.SVC。 #encoding=utf8 from sklearn.svm import SVC def svc_predict(train_data,train_label,test_data,kernel): ''' input:train_data(ndarray):训练数据 ...
Scikit-learn实战之SVM分类
学习AI算法，请关注微信公众号：机器学习算法全栈工程师……
11-27 1万+
Support vector machines (SVMs) 是一系列的有监督的学习方法，主要用于分类、回归和异常点检测。1. SVM的主要优点如下： 在高维空间有效； 当样本空间的维度比样本数高时任然有效； 使用训练样本的子集构建决策函数（这些样本点被称之为支持向量），因此它的内存效率很高； SVM是一个全能型的机器学习算法：可以指定不同的核函数的决策函数，提供了常见的核函数，但是也可以指定自定义
python机器学习07:数据预处理
qq_28286027的博客
06-30 349
1.使用StandardScaler进行数据预处理 1.使用sklearn的make_blobs函数手工生成数据集： from sklearn.datasets import make_blobs import matplotlib.pyplot as plt X,y = make_blobs(n_samples=40,centers=2,random_state=50,cluster_std=2...
scikit-learn入门指南：机器学习实战
"scikit-learn-docs 是一个关于机器学习的笔记资料，主要基于 scikit-learn 库，用于快速入门机器学习。这份文档包含了从安装、常见问题解答到使用教程、用户指南、示例以及性能优化等多个方面的内容。" 在深入理解...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值