ML19: sklearn 划分测试集+交叉验证+混淆矩阵+随机森林汽车品质评估案例

最新推荐文章于 2023-03-20 18:22:33 发布
最新推荐文章于 2023-03-20 18:22:33 发布
阅读量6.1k 收藏 16
点赞数 1
分类专栏： ML
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38246633/article/details/80603767
版权

19划分测试集

# -*- coding: utf-8 -*-
from __future__ import unicode_literals
import numpy as np
import sklearn.model_selection as ms
import sklearn.naive_bayes as nb
import matplotlib.pyplot as mp
x, y = [], []
with open('../../data/multiple1.txt', 'r') as f:
    for line in f.readlines():
        data = [float(substr)
                for substr in line.split(',')]
        x.append(data[:-1])
        y.append(data[-1])
x = np.array(x)
y = np.array(y, dtype=int)
train_x, test_x, train_y, test_y = ms.train_test_split(
    x, y, test_size=0.25, random_state=5)
# 创建朴素贝叶斯分类器模型
model = nb.GaussianNB()
model.fit(train_x, train_y)
l, r, h = x[:, 0].min() - 1, x[:, 0].max() + 1, 0.005
b, t, v = x[:, 1].min() - 1, x[:, 1].max() + 1, 0.005
grid_x = np.meshgrid(
    np.arange(l, r, h),
    np.arange(b, t, v))
flat_x = np.c_[grid_x[0].ravel(), grid_x[1].ravel()]
flat_y = model.predict(flat_x)
grid_y = flat_y.reshape(grid_x[0].shape)
pred_test_y = model.predict(test_x)
print((pred_test_y == test_y).sum() / pred_test_y.size)
mp.figure(num='Naive Bayes Classification',
          facecolor='lightgray')
mp.title('Naive Bayes Classification', fontsize=20)
mp.xlabel('x', fontsize=14)
mp.ylabel('y', fontsize=14)
mp.tick_params(labelsize=10)
mp.pcolormesh(grid_x[0], grid_x[1], grid_y,
              cmap='brg')
mp.scatter(train_x[:, 0], train_x[:, 1], s=80,
           c=train_y, cmap='RdYlBu')
mp.scatter(test_x[:, 0], test_x[:, 1], s=80,
           marker='D', c=test_y, cmap='RdYlBu')
mp.scatter(test_x[:, 0], test_x[:, 1], s=80,
           marker='x', c=pred_test_y, cmap='RdYlBu')
mp.show()

ML20: 交叉验证

from __future__ import unicode_literals
import numpy as np
import sklearn.model_selection as ms
import sklearn.naive_bayes as nb
import matplotlib.pyplot as mp
x, y = [], []
with open('../../data/multiple1.txt', 'r') as f:
    for line in f.readlines():
        data = [float(substr)
                for substr in line.split(',')]
        x.append(data[:-1])
        y.append(data[-1])
x = np.array(x)
y = np.array(y, dtype=int)
train_x, test_x, train_y, test_y = ms.train_test_split(
    x, y, test_size=0.25, random_state=5)
# 创建朴素贝叶斯分类器模型
model = nb.GaussianNB()
f1_scores = ms.cross_val_score(model, x, y, cv=10,
                               scoring='f1_weighted')
print(f1_scores.mean())
model.fit(train_x, train_y)
l, r, h = x[:, 0].min() - 1, x[:, 0].max() + 1, 0.005
b, t, v = x[:, 1].min() - 1, x[:, 1].max() + 1, 0.005
grid_x = np.meshgrid(
    np.arange(l, r, h),
    np.arange(b, t, v))
flat_x = np.c_[grid_x[0].ravel(), grid_x[1].ravel()]
flat_y = model.predict(flat_x)
grid_y = flat_y.reshape(grid_x[0].shape)
pred_test_y = model.predict(test_x)
print((pred_test_y == test_y).sum() / pred_test_y.size)
mp.figure(num='Naive Bayes Classification',
          facecolor='lightgray')
mp.title('Naive Bayes Classification', fontsize=20)
mp.xlabel('x', fontsize=14)
mp.ylabel('y', fontsize=14)
mp.tick_params(labelsize=10)
mp.pcolormesh(grid_x[0], grid_x[1], grid_y,
              cmap='brg')
mp.scatter(train_x[:, 0], train_x[:, 1], s=80,
           c=train_y, cmap='RdYlBu')
mp.scatter(test_x[:, 0], test_x[:, 1], s=80,
           marker='D', c=test_y, cmap='RdYlBu')
mp.scatter(test_x[:, 0], test_x[:, 1], s=80,
           marker='x', c=pred_test_y, cmap='RdYlBu')
mp.show()

21 混淆矩阵

混淆矩阵中每行表示一个实际分类的样本，每列表示预测分类的样本，主对角线上的值表示被正确预测的样本数，用主对角线上的值比上其所在列各元素之和就是该类别的查准率，用主对角线上的值比上其所在行各元素之和就是该类别的召回率。理想情况是所有的非零元素都落在主对角线上。
sklearn.metrics.confusion_matrix(实际输出, 预测输出)->混淆矩阵
sklearn.metrics.classification_report(实际输出, 预测输出)->性能报告
代码：cm.py

# -*- coding: utf-8 -*-
from __future__ import unicode_literals
import numpy as np
import sklearn.model_selection as ms
import sklearn.naive_bayes as nb
import sklearn.metrics as sm
import matplotlib.pyplot as mp
x, y = [], []
with open('../../data/multiple1.txt', 'r') as f:
    for line in f.readlines():
        data = [float(substr)
                for substr in line.split(',')]
        x.append(data[:-1])
        y.append(data[-1])
x = np.array(x)
y = np.array(y, dtype=int)
train_x, test_x, train_y, test_y = ms.train_test_split(
    x, y, test_size=0.25, random_state=5)
# 创建朴素贝叶斯分类器模型
model = nb.GaussianNB()
f1_scores = ms.cross_val_score(model, x, y, cv=10,
                               scoring='f1_weighted')
print(f1_scores.mean())
model.fit(train_x, train_y)
l, r, h = x[:, 0].min() - 1, x[:, 0].max() + 1, 0.005
b, t, v = x[:, 1].min() - 1, x[:, 1].max() + 1, 0.005
grid_x = np.meshgrid(
    np.arange(l, r, h),
    np.arange(b, t, v))
flat_x = np.c_[grid_x[0].ravel(), grid_x[1].ravel()]
flat_y = model.predict(flat_x)
grid_y = flat_y.reshape(grid_x[0].shape)
pred_test_y = model.predict(test_x)
print((pred_test_y == test_y).sum() / pred_test_y.size)
cm = sm.confusion_matrix(test_y, pred_test_y)
print(cm)
cr = sm.classification_report(test_y, pred_test_y)
print(cr)
mp.figure(num='Naive Bayes Classification',
          facecolor='lightgray')
mp.title('Naive Bayes Classification', fontsize=20)
mp.xlabel('x', fontsize=14)
mp.ylabel('y', fontsize=14)
mp.tick_params(labelsize=10)
mp.pcolormesh(grid_x[0], grid_x[1], grid_y,
              cmap='brg')
mp.scatter(train_x[:, 0], train_x[:, 1], s=80,
           c=train_y, cmap='RdYlBu')
mp.scatter(test_x[:, 0], test_x[:, 1], s=80,
           marker='D', c=test_y, cmap='RdYlBu')
mp.scatter(test_x[:, 0], test_x[:, 1], s=80,
           marker='x', c=pred_test_y, cmap='RdYlBu')
mp.figure(num='Confusion Matrix', facecolor='lightgray')
mp.title('Confusion Matrix', fontsize=20)
mp.xlabel('Predicted Class', fontsize=14)
mp.ylabel('True Class', fontsize=14)
mp.tick_params(labelsize=10)
mp.imshow(cm, cmap='jet')
mp.show()
0.9949874686716793
0.98
[[23  0  0  0]
 [ 0 20  1  0]
 [ 0  0 34  0]
 [ 1  0  0 21]]
             precision    recall  f1-score   support

          0       0.96      1.00      0.98        23
          1       1.00      0.95      0.98        21
          2       0.97      1.00      0.99        34
          3       1.00      0.95      0.98        22

avg / total       0.98      0.98      0.98       100

这里写图片描述
这里写图片描述

22 十五、基于随机森林分类器的汽车品质评估

代码：car.py

这里写代码片

爱跑步的george
关注
专栏目录
分类模型评估：混淆矩阵、准确率、召回率、ROC
Laurence的技术博客
02-13 3249
在二分类问题中，混淆矩阵被用来度量模型的准确率。因为在二分类问题中单一样本的预测结果只有Yes or No，即：真或者假两种结果，所以全体样本的经二分类模型处理后，处理结果不外乎四种情况，每种情况都有一个专门称谓，如果用一个2行2列表格描述，得到的就是“混淆矩阵”。其中，假阳性（FP）又被称为“Type 1 Error”，假阴性（FN）又被称为“Type 2 Error”。在所有“预测为真”（TP+FP）的数据中，有多少是“真得预测对了”（TP）的? 这个百分比叫“准确率”（Precision）在所有“实际
【ML】机器学习数据集：sklearn中分类数据集介绍
学无止境、积少成多、厚积薄发
08-10 8246
在机器学习的教程中，我们会看到很多的demo，这些demo都是基于python中自带的数据集。今天我们将介绍sklearn中几个常用的分类预测数据集。
十折交叉验证pythoniris_scikit learn中10倍交叉验证的混淆矩阵
weixin_33895652的博客
12-24 1207
def plot_confusion_matrix(cm, classes,normalize=False,title='Confusion matrix',cmap=plt.cm.Blues):"""This function prints and plots the confusion matrix.Normalization can be applied by setting `normal...
sklean中交叉检验和混淆矩阵
piaodexin的博客
09-05 3839
''' 今天学习到的东西，、 很重要 ''' #cross_validation from sklearn import cross_validation x_train,x_test,y_train,x_test=cross_validation(x,y,test_size=0.25, random_state=0,stratify=y
十折交叉验证和混淆矩阵
songhao的专栏
07-16 8447
一、十折交叉验证 前面提到了数据集分为训练集和测试集，训练集用来训练模型，而测试集用来测试模型的好坏，那么单一的测试是否就能很好的衡量一个模型的性能呢？ 答案自然是否定的，单一的测试集具有偶然性和随机性。因此本文介绍一种衡量模型（比如分类器）性能的方法——十折交叉验证(10-fold cross validation) 什么是十折交叉验证？ 假设有个数据集，需要建立一个分类
下采样及过采样·交叉验证及混淆矩阵【知识整理】
Droke_Zhou的博客
03-01 5270
交叉验证及混淆矩阵分析两种采样方法（分析基础）综述代码模块数据样例下采样划分训练集和测试集交叉验证混淆矩阵阈值调整过采样SMOTE 算法调用库：数据读取及划分SMOTE 处理训练集交叉验证混淆矩阵小结 综述 学生党整理一些关于数据分析的知识：主要整理了下采样和过采样这两个采样方式。采用召回率（Recall）作为评估标准，此外还采用了交叉验证划分样本引人正则惩罚项对切分的训练数据循环验证、用混淆矩阵...
绘制混淆矩阵
富贵的博客
10-09 818
（一）测试集读不出来 错误1： PIL.UnidentifiedImageError: cannot identify image file https://blog.csdn.net/cotyyang/article/details/108976567 方法一：加try except,直接别管这个异常。 方法二：把import Image替换成from PIL import Image，代码本来就是from PIL import Image。 方法三：找到这个图片，删除，然后把原图片重新复制到这个文件
ml:使用sklearn的ml算法的基本实现
03-11
在实际应用中，还需要注意数据集的划分，一般采用训练集、验证集和测试集的划分方式，确保模型的泛化能力。此外，对于大型数据集，可以使用`partial_fit`方法进行在线学习或分块训练。 总结起来，sklearn是一个强大...
【ML】机器学习数据集：sklearn中回归数据集介绍
学无止境、积少成多、厚积薄发
08-05 7461
在机器学习的教程中，我们会看到很多的demo，这些demo都是基于python中自带的数据集。今天我们将介绍三个用于回归预测的数据集。
2020研究生数模整理（1）:机器学习回归+GridSearch参数调优+AutoML(TPOT)+模型评估+决策树绘制
Trista的博客
09-21 1628
本文将简单介绍以下三点内容： （1）三种回归模型：线性回归、随机森林(输出决策树图)、梯度提升回归 （2）使用GridSearch对机器学习模型进行参数调优 （3）自动机器学习包:TPOT 1 三种回归模型 1.1 线性回归 线性回归的原理比较简单，不多说，直接上代码。 1.2 随机森林 随机森林是基于树的回归，这里会介绍 1.2.1 模型 1.2.2 决策树输出 1.3 梯度提升回归 2 GridSearch参数调优 3 自动机器学习包：TPOT ...
随机森林的MATLAB实现
03-05
里面包含随机森林的matlab实现代码，并且有简单的训练数据集和测试数据集
【ML】【scikit-learn】随机森林、混淆矩阵、AUC - ROC曲线
最新发布
请给我一脚
03-20 1082
个人笔记
sklearn.metrics —— 混淆矩阵及其绘制、Accuracy/Precision/Recall/F1-score
10-25 8038
t-SNE（t-distribution Stochastic Neighbor Embedding）是目前最为流行的高维数据的降维算法。 t-SNE 成立的前提基于这样的一个假设：我们现实世界观察到的数据集，都在本质上有一种低维的特性（low intrinsic dimensionality），尽管它们嵌入在高维空间中，甚至可以说，高维数据经过降维后，在低维状态下，更能显现其本质特性，这其实也是流
混淆矩阵
weixin_34187822的博客
11-08 458
http://blog.csdn.net/ganzhantoulebi0546/article/details/72876506#10006-weixin-1-52626-6b3bffd01fdde4900130bc5a2751b6d1 Confusion Matrix 在机器学习领域，混淆矩阵（confusion matrix），又称为可能性表格或是错误矩阵。它是一种特定的矩阵用来呈现算法性能的...
sklearn中混淆矩阵（confusion_matrix函数）的理解与使用
热门推荐
Sartin的博客
04-29 6万+
混淆矩阵 百度百科的定义： 混淆矩阵（confusion matrix）也称误差矩阵，是表示精度评价的一种标准格式，用n行n列的矩阵形式来表示。具体评价指标有总体精度、制图精度、用户精度等，这些精度指标从不同的侧面反映了图像分类的精度。 在人工智能中，混淆矩阵（confusion matrix）是可视化工具，特别用于监督学习，在无监督学习一般叫做匹配矩阵。在图像精度评价中，主要用于比较分类结果和...
python随机森林 如何获取混淆矩阵
m0_50507785的博客
04-08 2500
我对一个数据集用随机森林训练并预测，现在得到了预测准确率，但是混淆矩阵的TP,TN FP,FN不知道怎么获得 代码 如下 ```python S=confusion_matrix(y_score,y_test) print(S) tn, fp, fn, tp = confusion_matrix(y_score,y_score).ravel() print(tn) print(tp) print(fn) print(fp) ``` 输出结果如下 ```python [[142080 34342] [..
随机森林和SVM的分类，混淆矩阵绘制
m0_68894275的博客
05-27 887
基于matlab技术，探索了随机森林和svm的分类方法 图 坐标代表了原始数据的特征信息 右边代表了混淆矩阵的信息 这个代表了随机森林的预测值和真实的数值 SVM的预测结果如下 右图代表了每个样本对应的误差大小 左图代表了真实值和SVM与预测值的数据 图 SVM得到的混淆矩阵 图 混淆矩阵绘制的主要程序 具体源程序见： 如有侵权，请联系作者删除。 ...
Python sklearn.cross_validation.train_test_split及混淆矩阵实现
Missaya的博客
10-15 2612
sklearn.cross_validation.train_test_split随机划分训练集和测试集 一般形式： train_test_split是交叉验证中常用的函数，功能是从样本中随机的按比例选取train data和testdata，形式为： X_train,X_test, y_train, y_test = cross_validation.train_test_split(trai...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值