机器学习入门第四天

最新推荐文章于 2022-06-24 16:41:33 发布
最新推荐文章于 2022-06-24 16:41:33 发布
阅读量375 收藏 2
点赞数 1
分类专栏： 机器学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43473360/article/details/89387795
版权
分类报告

sklearn.metrics提供了分类报告相关API，不仅可以得到混淆矩阵，还可以得到交叉验证的查准率、召回率、f1得分的结果。这样可以方便的分析出哪些样本是异常样本。

import sklearn.metrics as sm
# 获取分类报告
cr = sm.classification_report(实际输出, 预测输出)
print(cr)
决策树分类

决策树分类模型会找到与样本特征匹配的叶子节点，然后以投票的方式进行分类。

案例：基于决策树分类算法，训练模型，预测小汽车（car.txt）等级。需要注意的是每一个特征都需要使用标签编码做预处理。

"""
汽车评估 案例
"""
import numpy as np
import sklearn.preprocessing as sp
import sklearn.ensemble as se
import sklearn.model_selection as ms

# 读取文本数据，对特征进行标签编码，
# 基于随机森林进行模型训练，完成交叉验证。
data = np.loadtxt('../ml_data/car.txt',
                  delimiter=',', dtype='U10')
data = data.T
encoders = []
train_x, train_y = [], []
for row in range(len(data)):
    encoder = sp.LabelEncoder()
    if row < len(data) - 1:
        train_x.append(
            encoder.fit_transform(data[row]))
    else:
        train_y = encoder.fit_transform(data[row])
    encoders.append(encoder)
train_x = np.array(train_x).T
# 基于随机森林分类器完成模型训练
model = se.RandomForestClassifier(
    max_depth=6, n_estimators=200,
    random_state=7)
print(ms.cross_val_score(
    model, train_x, train_y, cv=4,
    scoring='f1_weighted').mean())
model.fit(train_x, train_y)
# 造一些测试数据，进行测试。
data = [
    ['high', 'med', '5more', '4',
     'big', 'low', 'unacc'],
    ['high', 'high', '4', '4',
     'med', 'med', 'acc'],
    ['low', 'low', '2', '4',
     'small', 'high', 'good'],
    ['low', 'med', '3', '4',
     'med', 'high', 'vgood']]
# 对测试数据进行相同的标签编码，
# 才可以使用训练好的模型
data = np.array(data).T
test_x, test_y = [], []
for row in range(len(data)):
    encoder = encoders[row]
    if row < len(data) - 1:
        test_x.append(
            encoder.transform(data[row]))
    else:
        test_y = encoder.transform(
            data[row])
test_x = np.array(test_x).T
# 使用模型开始预测
pred_test_y = model.predict(test_x)
e = encoders[-1]  # 针对最后一列的标签编码器
print(e.inverse_transform(test_y))
print(e.inverse_transform(pred_test_y))
验证曲线

验证曲线 : 模型性能 = f(超参数)
验证曲线是超参数优选的一种解决方案，通过验证曲线相关API，可以得到相同模型在不同超参数下的模型性能得分，从而得知最优超参数。

import sklearn.model_selection as ms
train_scores, test_scores = ms.validation_curve(
	model,			 # 初始模型
    输入集, 输出集,
    'n_estimators',  # 超参数名
    np.array([50, 60, 80, 100]), # 超参数取值列表
    cv=5	# 折叠数
)

train_scores的结构：

超参数CV1CV2CV3CV4CV5
500.9730.8940.9440.9240.914
1000.9140.9240.9340.9540.934
………………

test_scores的结构与上述结构一致。

案例：小汽车案例中使用验证曲线选择超参数。

```python
# -*- coding: utf-8 -*-
from __future__ import unicode_literals
"""
汽车评估 案例  验证曲线选择超参数
"""
import numpy as np
import sklearn.preprocessing as sp
import sklearn.ensemble as se
import sklearn.model_selection as ms
import matplotlib.pyplot as mp


# 读取文本数据，对特征进行标签编码，
# 基于随机森林进行模型训练，完成交叉验证。
data = np.loadtxt('../ml_data/car.txt',
                  delimiter=',', dtype='U10')
data = data.T
encoders = []
train_x, train_y = [], []
for row in range(len(data)):
    encoder = sp.LabelEncoder()
    if row < len(data) - 1:
        train_x.append(
            encoder.fit_transform(data[row]))
    else:
        train_y = encoder.fit_transform(data[row])
    encoders.append(encoder)
train_x = np.array(train_x).T

# 基于随机森林分类器完成模型训练
model = se.RandomForestClassifier(
    max_depth=6, random_state=7)
# 获取关于n_estimators的验证曲线
n_estimators = np.arange(50, 550, 50)
train_scores, test_scores = \
    ms.validation_curve(
        model, train_x, train_y,
        'n_estimators', n_estimators, cv=5)
# 每个超参数取值对应的得分
train_means = train_scores.mean(axis=1)
for p, s in zip(n_estimators, train_means):
    print(p, '->', s)

mp.figure('N_estimators', facecolor='lightgray')
mp.title('N_estimators', fontsize=16)
mp.xlabel('Estimators', fontsize=14)
mp.ylabel('Scores', fontsize=14)
mp.tick_params(labelsize=12)
mp.grid(linestyle=":")
mp.plot(n_estimators, train_means,
        c='dodgerblue', label='Valid Curve')
mp.legend()
mp.show()


# 基于随机森林分类器完成模型训练
model = se.RandomForestClassifier(
    n_estimators=200, random_state=7)
# 获取关于max_depth的验证曲线
max_depths = np.arange(1, 11)
train_scores, test_scores = \
    ms.validation_curve(
        model, train_x, train_y,
        'max_depth', max_depths, cv=5)
# 每个超参数取值对应的得分
train_means = train_scores.mean(axis=1)
for p, s in zip(max_depths, train_means):
    print(p, '->', s)

mp.figure('Max_depth', facecolor='lightgray')
mp.title('Max_depth', fontsize=16)
mp.xlabel('Max_depths', fontsize=14)
mp.ylabel('Scores', fontsize=14)
mp.tick_params(labelsize=12)
mp.grid(linestyle=":")
mp.plot(max_depths, train_means,
        c='dodgerblue', label='Valid Curve')
mp.legend()
mp.show()

# 基于随机森林分类器完成模型训练
model = se.RandomForestClassifier(
    max_depth=8,
    n_estimators=200, random_state=7)
print(ms.cross_val_score(
    model, train_x, train_y, cv=4,
    scoring='f1_weighted').mean())
model.fit(train_x, train_y)
# 造一些测试数据，进行测试。
data = [
    ['high', 'med', '5more', '4',
     'big', 'low', 'unacc'],
    ['high', 'high', '4', '4',
     'med', 'med', 'acc'],
    ['low', 'low', '2', '4',
     'small', 'high', 'good'],
    ['low', 'med', '3', '4',
     'med', 'high', 'vgood']]
# 对测试数据进行相同的标签编码，
# 才可以使用训练好的模型
data = np.array(data).T
test_x, test_y = [], []
for row in range(len(data)):
    encoder = encoders[row]
    if row < len(data) - 1:
        test_x.append(
            encoder.transform(data[row]))
    else:
        test_y = encoder.transform(
            data[row])
test_x = np.array(test_x).T
# 使用模型开始预测
pred_test_y = model.predict(test_x)
e = encoders[-1]  # 针对最后一列的标签编码器
print(e.inverse_transform(test_y))
print(e.inverse_transform(pred_test_y))
学习曲线

学习曲线： 模型性能=f(训练集大小)

学习曲线相关API:

import sklearn.model_selection as ms
# 获取学习曲线
_, train_scores, test_scores = ms.learning_curve(
	model, # 初始模型
    输入集, 输出集,
    [0.9, 0.8, 0.7], # 训练集的大小
    cv=5	# 折叠数
)

案例：

import numpy as np
import sklearn.preprocessing as sp
import sklearn.ensemble as se
import sklearn.model_selection as ms
import matplotlib.pyplot as mp


# 读取文本数据，对特征进行标签编码，
# 基于随机森林进行模型训练，完成交叉验证。
data = np.loadtxt('../ml_data/car.txt',
                  delimiter=',', dtype='U10')
data = data.T
encoders = []
train_x, train_y = [], []
for row in range(len(data)):
    encoder = sp.LabelEncoder()
    if row < len(data) - 1:
        train_x.append(
            encoder.fit_transform(data[row]))
    else:
        train_y = encoder.fit_transform(data[row])
    encoders.append(encoder)
train_x = np.array(train_x).T

# 基于随机森林分类器完成模型训练
model = se.RandomForestClassifier(
    max_depth=8,
    n_estimators=200, random_state=7)
# 使用学习曲线获取最优训练集大小
train_sizes = np.linspace(0.1, 1, 10)
_, train_scores, test_scores = \
    ms.learning_curve(model, train_x, train_y,
        train_sizes=train_sizes, cv=5)
train_means = train_scores.mean(axis=1)
for size, score in zip(train_sizes, train_means):
    print(size, '->', score)

mp.figure('Learning Curve')
mp.title('Learning Curve', fontsize=16)
mp.xlabel('Train Size', fontsize=12)
mp.ylabel('Curve Score', fontsize=12)
mp.tick_params(labelsize=10)
mp.grid(linestyle=':')
mp.plot(train_sizes, train_means, 'o-',
        c='dodgerblue', label='Curve')
mp.legend()
mp.show()

支持向量机(SVM)

支持向量机原理

核心理念：寻求最优分类边界

正确：对大部分样本可以正确的划分类别。

泛化：最大化支持向量间距。

公平：类别与支持向量等距。

简单：线性，直线、平面做类别分割。
基于核函数的升维变换

对于难以分类的一些样本，执行基于核函数的升维变换。增加新的特征，使得低维度空间中的线性不可分问题，变成高维度空间中的线性可分问题。

SVM提供的常用核函数

  1. 线性核函数 linear
  2. 多项式核函数 poly
  3. 径向基核函数 rbf

线性核函数

不通过核函数进行维度提升，仅在原始维度空间中寻求线性分类边界。

基于线性核函数的SVM分类器：

import sklearn.svm as svm
model = svm.SVC(kernel='linear')
mpdel.fit(train_x, train_y)

案例：使用线性核函数的SVM训练simple2.txt。

# -*- coding: utf-8 -*-
from __future__ import unicode_literals
"""
demo05_svm_linear.py 线性核函数的SVM
"""
import numpy as np
import sklearn.model_selection as ms
import sklearn.svm as svm
import sklearn.metrics as sm
import matplotlib.pyplot as mp

x, y = [], []
data = np.loadtxt('../ml_data/multiple2.txt',
                  delimiter=',', dtype='f8')
x = data[:, :-1]
y = data[:, -1]

train_x, test_x, train_y, test_y = \
    ms.train_test_split(
        x, y, test_size=0.25, random_state=5)

# 基于线性核函数的支持向量机模型
model = svm.SVC(kernel='linear')
model.fit(train_x, train_y)

# 预测分类边界
n = 500
l, r = x[:, 0].min() - 1, x[:, 0].max() + 1
b, t = x[:, 1].min() - 1, x[:, 1].max() + 1
grid_x, grid_y = np.meshgrid(
    np.linspace(l, r, n),
    np.linspace(l, r, n))
samples = np.column_stack(
    (grid_x.ravel(), grid_y.ravel()))
grid_z = model.predict(samples)
grid_z = grid_z.reshape(grid_x.shape)
# 使用模型预测测试集数据，输出分类报告
pred_test_y = model.predict(test_x)
cr = sm.classification_report(
    test_y, pred_test_y)
print(cr)

# 绘制分类边界
mp.figure('SVM Linear Classification', facecolor='lightgray')
mp.title('SVM Linear Classification', fontsize=16)
mp.xlabel('x', fontsize=14)
mp.ylabel('y', fontsize=14)
mp.tick_params(labelsize=12)
mp.pcolormesh(grid_x, grid_y, grid_z,
              cmap='gray')
mp.scatter(test_x[:, 0], test_x[:, 1],
           c=test_y, cmap='brg', s=80)
mp.show()

多项式核函数

通过多项式函数增加原始样本特征的高次方幂作为新的特征，在新的思考维度中对样本进行分类。

# 基于多项式函数扩展新的特征
model = svm.SVC(kernel='poly', degree=3)
model.fit(train_x, train_y)

径向基核函数

通过高斯分布函数增加原始样本特征的分布概率。

# 基于径向基核函数的支持向量机分类器
# C: 正则强度
# gamma: 正态分布曲线的标准差
model = svm.SVC(kernel='rbf', C=600, gamma=0.01)
model.fit(train_x, train_y)
样本类别均衡化

通过类别均衡化，使所占比例较小的样本权重较高，而所占比例较大的样本权重较低。以此平均化不同类别样本对分类模型的贡献，提高模型精度。

# 添加 class_weight='balanced' 实现样本类别均衡化
model = svm.SVC(kernel='linear', class_weight='balanced')
model.fit(train_x, train_y)

案例：基于线性核函数对imbalance.txt进行训练

# 基于线性核函数的支持向量机模型
model = svm.SVC(kernel='rbf', C=1000, gamma=0.01,
                class_weight='balanced')
model.fit(train_x, train_y)
置信概率

根据样本与分类边界的距离远近，对其预测类别的可信程度进行量化，离边界越近的样本，置信概率越低，反之，离边界越远的样本，置信概率越高。

获取每个样本的置信概率API：

# 在获取支持向量机模型时，给出超参数 probability=True
m = svm.SVC(kernel='', C=1, gamma=0.01, probability=True)
# 获取每个样本的置信概率
置信概率矩阵 = model.predict_proba(test_x)

置信概率矩阵格式：

类别1类别2
样本10.80.2
样本20.60.4

案例：修改径向基核函数的SVM案例，新增测试样本，输出置信概率。

# 新增测试点   输出置信概率， 绘制图像
prob_x = np.array([
    [2, 1.5],
    [8, 9],
    [4.8, 5.2],
    [4, 4],
    [2.5, 7],
    [7.6, 2],
    [5.4, 5.9]])
pred_prob_y = model.predict(prob_x)
probs = model.predict_proba(prob_x)
print(probs)

mp.scatter(prob_x[:, 0], prob_x[:, 1],
           c=pred_prob_y, cmap='jet_r',
           s=80, marker='D')
# 为每个点都加上备注: 1类别概率, 2类别概率
for i in range(len(probs)):
    mp.annotate(
        '{}% {}%'.format(
            round(probs[i, 0] * 100, 2),
            round(probs[i, 1] * 100, 2)),
        xy=(prob_x[i, 0], prob_x[i, 1]),
        xytext=(12, -12),
        textcoords='offset points',
        fontsize=9,
        bbox={'boxstyle': 'round,pad=0.6',
              'fc': 'orange', 'alpha': 0.8})
网格搜索

获取一个最优超参数的方式可以绘制验证曲线，但是验证曲线只能每次获取一个最优超参数。如果多个超参数有很多排列组合的话，就可以使用网格搜索寻求最优超参数组合。

在网格搜索过程中，针对每一个超参数组合，实例化给定的模型，做cv次交叉验证，将其中平均f1得分最高的超参数组合作为最佳选择，实例化模型对象。

网格搜索相关API：

import sklearn.model_selection as ms
# 返回的是已经使用了最优超参数组合的model对象
model = ms.GridSearchCV(
    model,			 # 原始模型
	超参数组合列表,	# 使用列表的方式把所有组合列出
	cv=5			 # 交叉验证折叠数
)
# 获取网格搜索过程中的每个参数组合
model.cv_results_['params']
# 获取王国搜索过程每个参数组合对应的平均测试分
model.cv_results_['mean_test_score']
# 获取最好的参数
model.best_params_		# 最优参数
model.best_scores_		# 最优得分
model.best_estimator_	# 最优模型

案例：修改置信概率案例，基于网格搜索寻的最优超参数。

# 基于径向基核函数的支持向量机模型
model = svm.SVC()
# 整理超参数列表，做网格搜索，寻找最优
params = [
    {'kernel': ['linear'],
     'C':[1, 10, 100, 1000]},
    {'kernel': ['poly'], 'C':[1],
     'degree':[2, 3]},
    {'kernel': ['rbf'], 'C':[1, 10, 100, 1000],
     'gamma':[1, 0.1, 0.01, 0.001]}]
model = ms.GridSearchCV(model, params, cv=5)
model.fit(train_x, train_y)

print(model.best_params_)
print(model.best_score_)
print(model.best_estimator_)

# 查看网格搜索过程的细节
for p, s in zip(
    model.cv_results_['params'],
        model.cv_results_['mean_test_score']):
    print(p, '->', s)
weixin_43473360
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习理论基础详解—第一天
01-20
大数据处理侧重于数据的收集、存储和预处理，如清洗、整合和统计分析，而机器学习则是在这些处理后的数据基础上，运用算法构建模型，发现数据之间的规律和模式，用于预测、分类或优化决策。 在实际应用中，例如电信...
机器学习基础 Mehryar Mohri .zip
05-18
在本文中，我们将深入探讨书中涉及的一些关键概念和理论，旨在为读者提供一个全面的机器学习入门指南。 一、机器学习概述 机器学习是人工智能的一个分支，主要研究计算机如何通过经验自动改进其性能。它分为监督...
机器学习模型
BelthPixtink的博客
10-13 407
[Part1]模型评估指标 一、回归模型 1. 绝对误差（mean_absolute_error） 预测点与真实点之间距离之差的绝对值的平均值 '''scikit-learn实现：''' from sklearn import metrics absolute_error = metrics.mean_absolute_error(y_true,y_pred) 2. 均方误差（mean_squar...
人工智能（Machine Learning）—— 机器学习
迷途无归的博客
09-01 5560
机器学习 一、人工智能、机器学习与深度学习 人工智能        机器学习               经典机器学习               基于神经网络的机器学习                      浅层学习                      深层学习(深度学习)               强化学习               迁移学习 二、机器学习基本类型 1.有...
机器学习入门：决策树与随机森林-7
奔腾游子
12-27 1565
机器学习入门：决策树与随机森林 1、实验描述 本实验提供了一份汽车评测的数据，通过python编程，利用此数据，构造决策树模型、训练、预测及评估模型，然后绘制一下ROC曲线图；再使用随机森林建模、训练、预测及绘制ROC曲线。 实验时长：45分钟 主要步骤： 加载训练数据 数据预处理：将car.data数据数值化 数据集的划分 决策树模型、随机森林模型创建 模型训练 模型的预测 模型评估 绘制ROC曲线 2、实验环境 虚拟机数量：1 系统版本：CentOS 7.5 scikit-lear
机器视觉python-openCV实验—— 实验四 车牌识别实验
星羽空间
05-26 2276
机器视觉python-openCV实验—— 实验四 车牌识别实验。重理工人智学院机器视觉课程实验
Python-Level5-day04:线性回归的集成学习模型之bosting与随机森林算法,线性回归总结,分类问题的逻辑回归模型及其实现,分类问题的损失函数,多分类实现方法,决策树分类原理与汽车案例
dpq666dpq666
06-24 928
2022年7月14日21:39:25
南大出品 机器学习基础入门教程 机器学习导论 第01章 绪论 共39页.pdf
最新发布
07-18
【内容大纲】 机器学习导论 第01章 绪论 共39页.pdf 机器学习导论 第02章 模型评估与选择 共28页.pdf 机器学习导论 第03章 线性模型 共23页.pdf ...机器学习导论 作业4.pdf 机器学习导论 作业5.pdf
南大出品 机器学习基础入门教程 机器学习导论 第09章 聚类 共16页.pdf
07-18
【内容大纲】 机器学习导论 第01章 绪论 共39页.pdf 机器学习导论 第02章 模型评估与选择 共28页.pdf 机器学习导论 第03章 线性模型 共23页.pdf ...机器学习导论 作业4.pdf 机器学习导论 作业5.pdf
南大出品 机器学习基础入门教程 机器学习导论 第08章 集成学习 共14页.pdf
07-18
【内容大纲】 机器学习导论 第01章 绪论 共39页.pdf 机器学习导论 第02章 模型评估与选择 共28页.pdf 机器学习导论 第03章 线性模型 共23页.pdf ...机器学习导论 作业4.pdf 机器学习导论 作业5.pdf
CarData.zip
01-08
名称：UIUC数据集 详情：UIUC汽车数据集包含汽车侧视图的图像，用于评估对象检测算法。该数据集包含1050个训练图像（550个汽车图像和500个非汽车图像），并且存在两个测试设置。首先，有170个单比例测试图像，其中包含200辆汽车，其规模与训练图像大致相同。其次是108张多尺度测试图像，其中包含139辆不同尺度的汽车。 官网：http://l2r.cs.uiuc.edu/~cogcomp/Data/Car/
CarData.rar
10-06
这是在学习python识别算法的时候写的，属于监督学习，通过学习样本中的车辆图片信息，通过训练，能够自动识别普通图片中的汽车。
UIUC车辆数据集CarData
12-10
数据集中包含用于评估目标检测算法的汽车侧视图。这些图像是由Shivani Agarwal，Aatif Awan和Dan Roth在UIUC收集整理的，并用于论文实验中。汽车图像均为灰度图像，原始PGM格式，总共1328张图片。
yolov5 车辆检测数据集 car车辆检测数据集.rar
04-07
车辆car目标检测 yolov5 车辆检测数据集， 类别名：car； VOCtrainva2012数据集 提取得到，标签类别：txt和 xml两种
第一章 Numpy基础
HHzdh的博客
10-11 2126
第一章 Numpy基础 Numpy（Numerical Python的简称），其中Numpy提供了两种基本的对象：ndarray（N-dimensional Array Object）和 ufunc（Universal Function Object）。ndarray是存储单一数据类型的多维数 组，而ufunc则是能够对数组进行处理的函数。 Numpy的主要特点： ndarray，快速节省空间的多维数组，提供数组化的算术运算和高级的广播功能。 使用标准...
爬取汽车网站汽车数据
MoooJL
12-01 1291
from selenium import webdriver from selenium.webdriver.firefox.options import Options import datetime import openpyxl import re import time import os def get_connect(): firefox_options = Optio...
Skin Lesion Classification Using Ensembles of Multi-Resolution EfficientNets with Meta Data
稀里糊涂林老冷
10-07 1550
abstract 本文我们描述了参加ISIC2019皮肤病变分类比赛。比赛中有两个任务，一是通过皮肤病变来分类皮肤病图像。二是利用图像和附加的患者元数据进行分类。包含25000张图像的庞大数据集提供给训练过程，共包含8个类别。最后的测试集包含附加、未知的类别。我们介绍一个简单、数据驱动的方法来解决这个挑战，该方法引入了训练集未包含的外部皮肤病变数据。此外，多类别皮肤病分类还有严重的类别不平衡问题。我们尝试使用损失平衡来解决这个问题。同时数据中包含的图像有着不同分辨率，我们通过输入不同模型不同分辨率、裁剪策.
机器学习入门到精通：从基础到实战
标签包括Python和机器学习入门到精通，表明书中可能包含了使用Python语言进行机器学习的教程和实践案例。" 正文: 本书由Tom M. Mitchell撰写，旨在引导读者从零基础逐渐掌握机器学习的核心概念和技术。书中首先表达...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值