机器学习--三天夯实基础--基础算法、模型评估与调优

最新推荐文章于 2023-06-02 09:34:55 发布
最新推荐文章于 2023-06-02 09:34:55 发布
阅读量289 收藏
点赞数
分类专栏： 基本运算 模型评估和调优 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DXdaxian/article/details/106282265
版权

1、sklearn数据集与估计器

scikit-learn数据集API介绍

sklearn.datasets
加载获取流行数据集
datasets.load_*()
获取小规模数据集，数据包含在datasets里

datasets.fetch_*(data_home=None)
获取大规模数据集，需要从网络上下载，函
数的第一个参数是data_home，表示数据集
下载的目录,默认是 ~/scikit_learn_data/

获取数据集返回的类型

load和fetch返回的数据类型datasets.base.Bunch(字典格式)

data：特征数据数组，是 [n_samples * n_features] 的二维
numpy.ndarray 数组

target：标签数组，是 n_samples 的一维 numpy.ndarray 数组

DESCR：数据描述

feature_names：特征名,新闻数据，手写数字、回归数据集没有

target_names：标签名,回归数据集没有

转化器和估计器

转化器Transformer

想一下之前做的特征工程的步骤？

1、实例化 (实例化的是一个转换器类(Transformer))

2、调用fit_transform(对于文档建立分类词频矩阵，不能同时调用)

在这里插入图片描述

估计器estimator

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

2、分类算法-k近邻算法

在这里插入图片描述
sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm=‘auto’)

n_neighbors：int,可选（默认= 5），k_neighbors查询默认使用的邻居数

algorithm：{‘auto’，‘ball_tree’，‘kd_tree’，‘brute’}，可选用于计算最近邻居的算法：‘ball_tree’将会使用 BallTree，‘kd_tree’将使用 KDTree。‘auto’将尝试根据传递给fit方法的值来决定最合适的算法。 (不同实现方式影响效率)

3、k-近邻算法实例

入住酒店预测

流程

数据处理

在这里插入图片描述
1、缩小数据集范围
DataFrame.query()

2、处理日期数据
pd.to_datetime
pd.DatetimeIndex

3、增加分割的日期数据

4、删除没用的日期数据
pd.drop

5、将签到位置少于n个用户的删除
place_count =data.groupby(‘place_id’).aggregate(np.count_nonzero)
tf = place_count[place_count.row_id > 3].reset_index()
data = data[data[‘place_id’].isin(tf.place_id)]

 """
    K-近邻预测用户签到位置
    :return:None
    """
    # 读取数据
    data = pd.read_csv("./data/FBlocation/train.csv")

    # print(data.head(10))

    # 处理数据
    # 1、缩小数据,查询数据晒讯
    data = data.query("x > 1.0 &  x < 1.25 & y > 2.5 & y < 2.75")

    # 处理时间的数据
    time_value = pd.to_datetime(data['time'], unit='s')

    print(time_value)

    # 把日期格式转换成 字典格式
    time_value = pd.DatetimeIndex(time_value)

    # 构造一些特征
    data['day'] = time_value.day
    data['hour'] = time_value.hour
    data['weekday'] = time_value.weekday

    # 把时间戳特征删除
    data = data.drop(['time'], axis=1)

    print(data)

    # 把签到数量少于n个目标位置删除
    place_count = data.groupby('place_id').count()

    tf = place_count[place_count.row_id > 3].reset_index()

    data = data[data['place_id'].isin(tf.place_id)]

    # 取出数据当中的特征值和目标值
    y = data['place_id']

    x = data.drop(['place_id'], axis=1)

    # 进行数据的分割训练集合测试集
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)

    # 特征工程（标准化）
    std = StandardScaler()

    # 对测试集和训练集的特征值进行标准化
    x_train = std.fit_transform(x_train)

    x_test = std.transform(x_test)

    # 进行算法流程 # 超参数
    knn = KNeighborsClassifier()

    # # fit， predict,score
    # knn.fit(x_train, y_train)
    #
    # # 得出预测结果
    # y_predict = knn.predict(x_test)
    #
    # print("预测的目标签到位置为：", y_predict)
    #
    # # 得出准确率
    # print("预测的准确率:", knn.score(x_test, y_test))

    # 构造一些参数的值进行搜索
    param = {"n_neighbors": [3, 5, 10]}

    # 进行网格搜索
    gc = GridSearchCV(knn, param_grid=param, cv=2)

    gc.fit(x_train, y_train)

    # 预测准确率
    print("在测试集上准确率：", gc.score(x_test, y_test))

    print("在交叉验证当中最好的结果：", gc.best_score_)

    print("选择最好的模型是：", gc.best_estimator_)

    print("每个超参数每次交叉验证的结果：", gc.cv_results_)

优缺点

问题
1、k值取多大？有什么影响
k值取很小：容易受异常点影响
k值取很大：容易受最近数据太多导致比例变化
2、性能问题？ 时间复杂度很高。
优点：
简单，易于理解，易于实现，无需估计参数，无需训练

缺点：
懒惰算法，对测试样本分类时的计算量大，内存开销大
必须指定K值，K值选择不当则分类精度不能保证

使用场景：小数据场景，几千～几万样本，具体场景具体业务去测试

4、分类算法-朴素贝叶斯算法

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

5、朴素贝叶斯算法实例:新闻分类

API

sklearn.naive_bayes.MultinomialNB

sklearn.naive_bayes.MultinomialNB(alpha = 1.0)
朴素贝叶斯分类

alpha：拉普拉斯平滑系数

流程

在这里插入图片描述

朴素贝叶斯优缺点

优点：
朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率。

对缺失数据不太敏感，算法也比较简单，常用于文本分类。

分类准确度高，速度快，不需要调参

缺点：
受特征工程和训练集影响非常大，没有很多参数可以去调优：训练集误差大，结果肯定不好。
神经网络效果更好。
需要知道先验概率P(F1,F2,…|C)，因此在某些时候会由于假设的先验
模型的原因导致预测效果不佳。

在这里插入图片描述

6、分类模型的评估

7、模型的选择与调优

交叉验证

在这里插入图片描述

网格搜索

在这里插入图片描述
在这里插入图片描述

一般和交叉验证一起使用

网格搜索(超参数搜索)API

sklearn.model_selection.GridSearchCV

sklearn.model_selection.GridSearchCV(estimator, param_grid=None,cv=None)
对估计器的指定参数值进行详尽搜索

estimator：估计器对象
param_grid：估计器参数(dict){“n_neighbors”:[1,3,5]}
cv：指定几折交叉验证
fit：输入训练数据
score：准确率
结果分析：
best_score_:在交叉验证中测试的最好结果
best_estimator_：最好的参数模型
cv_results_:每次交叉验证后的测试集准确率结果和训练集准确率结果

用网格搜索改造KNN算法

   """
    K-近邻预测用户签到位置
    :return:None
    """
    # 读取数据
    data = pd.read_csv("./data/FBlocation/train.csv")

    # print(data.head(10))

    # 处理数据
    # 1、缩小数据,查询数据晒讯
    data = data.query("x > 1.0 &  x < 1.25 & y > 2.5 & y < 2.75")

    # 处理时间的数据
    time_value = pd.to_datetime(data['time'], unit='s')

    print(time_value)

    # 把日期格式转换成 字典格式
    time_value = pd.DatetimeIndex(time_value)

    # 构造一些特征
    data['day'] = time_value.day
    data['hour'] = time_value.hour
    data['weekday'] = time_value.weekday

    # 把时间戳特征删除
    data = data.drop(['time'], axis=1)

    print(data)

    # 把签到数量少于n个目标位置删除
    place_count = data.groupby('place_id').count()

    tf = place_count[place_count.row_id > 3].reset_index()

    data = data[data['place_id'].isin(tf.place_id)]

    # 取出数据当中的特征值和目标值
    y = data['place_id']

    x = data.drop(['place_id'], axis=1)

    # 进行数据的分割训练集合测试集
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)

    # 特征工程（标准化）
    std = StandardScaler()

    # 对测试集和训练集的特征值进行标准化
    x_train = std.fit_transform(x_train)

    x_test = std.transform(x_test)

    # 进行算法流程 # 超参数
    knn = KNeighborsClassifier()

    # # fit， predict,score
    # knn.fit(x_train, y_train)
    #
    # # 得出预测结果
    # y_predict = knn.predict(x_test)
    #
    # print("预测的目标签到位置为：", y_predict)
    #
    # # 得出准确率
    # print("预测的准确率:", knn.score(x_test, y_test))

    # 构造一些参数的值进行搜索
    param = {"n_neighbors": [3, 5, 10]}

    # 进行网格搜索
    gc = GridSearchCV(knn, param_grid=param, cv = 10)

    gc.fit(x_train, y_train)

    # 预测准确率
    print("在测试集上准确率：", gc.score(x_test, y_test))

    print("在交叉验证当中最好的结果：", gc.best_score_)

    print("选择最好的模型是：", gc.best_estimator_)

    print("每个超参数每次交叉验证的结果：", gc.cv_results_)

8、决策树与随机森林

1、认识决策树

决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-then结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法 。

信息熵和信息增益

不确定性下降，信息熵也下降
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
常见决策树使用的算法
ID3
信息增益 最大的准则
C4.5
信息增益比 最大的准则
CART
回归树: 平方误差 最小
分类树: 基尼系数 最小的准则 在sklearn中可以选择划分的原则

sklearn决策树API

class sklearn.tree.DecisionTreeClassifier(criterion=’gini’, max_depth=None,random_state=None)
决策树分类器
criterion:默认是’gini’系数，也可以选择信息增益的熵’entropy’
max_depth:树的深度大小
random_state:随机数种子

method:
decision_path:返回决策树的路径

2、信息论基础-银行贷款分析

3、决策树的生成

4、泰坦尼克号乘客生存分类

在这里插入图片描述

流程

在这里插入图片描述

决策树的结构、本地保存

1、sklearn.tree.export_graphviz() 该函数能够导出DOT格式
tree.export_graphviz(estimator,out_file='tree.dot’,feature_names=[‘’,’’])

2、工具:(能够将dot文件转换为pdf、png)
安装graphviz
ubuntu:sudo apt-get install graphviz Mac:brew install graphviz

3、运行命令
然后我们运行这个命令
$ dot -Tpng tree.dot -o tree.png

 """
    决策树对泰坦尼克号进行预测生死
    :return: None
    """
    # 获取数据
    titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt")

    # 处理数据，找出特征值和目标值
    x = titan[['pclass', 'age', 'sex']]

    y = titan['survived']

    print(x)
    # 缺失值处理
    x['age'].fillna(x['age'].mean(), inplace=True)

    # 分割数据集到训练集合测试集
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)

    # 进行处理（特征工程）特征-》类别-》one_hot编码
    dict = DictVectorizer(sparse=False)

    x_train = dict.fit_transform(x_train.to_dict(orient="records"))

    print(dict.get_feature_names())

    x_test = dict.transform(x_test.to_dict(orient="records"))

    # print(x_train)
    # 用决策树进行预测
    # dec = DecisionTreeClassifier()
    #
    # dec.fit(x_train, y_train)
    #
    # # 预测准确率
    # print("预测的准确率：", dec.score(x_test, y_test))
    #
    # # 导出决策树的结构
    # export_graphviz(dec, out_file="./tree.dot", feature_names=['年龄', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', '女性', '男性'])

    # 随机森林进行预测 （超参数调优）
    rf = RandomForestClassifier()

    param = {"n_estimators": [120, 200, 300, 500, 800, 1200], "max_depth": [5, 8, 15, 25, 30]}

    # 网格搜索与交叉验证
    gc = GridSearchCV(rf, param_grid=param, cv=2)

    gc.fit(x_train, y_train)

    print("准确率：", gc.score(x_test, y_test))

    print("查看选择的参数模型：", gc.best_params_)

决策树的优缺点以及改进

优点：
简单的理解和解释，树木可视化。
需要很少的数据准备，其他技术通常需要数据归一化，

缺点：
决策树学习者可以创建不能很好地推广数据的过于复杂的树，这被称为过拟合。
决策树可能不稳定，因为数据的小变化可能会导致完全不同的树被生成。

改进：
减枝cart算法
随机森林

随机森林的原理以及案例调优

在这里插入图片描述

学习算法
根据下列算法而建造每棵树：
用N来表示训练用例（样本）的个数，M表示特征数目。
输入特征数目m，用于确定决策树上一个节点的决策结果；其中m应远小于M。
从N个训练用例（样本）中以有放回抽样的方式，取样N次，形成一个训练集（即bootstrap取样），并用未抽到的用例（样本）作预测，评估其误差。

在这里插入图片描述

class sklearn.ensemble.RandomForestClassifier(n_estimators=10, criterion=’gini’,
max_depth=None, bootstrap=True, random_state=None)
随机森林分类器
n_estimators：integer，optional（default = 10） 森林里的树木数量
criteria：string，可选（default =“gini”）分割特征的测量方法
max_depth：integer或None，可选（默认=无）树的最大深度
bootstrap：boolean，optional（default = True）是否在构建树时使用放回抽样

在这里插入图片描述

DXdaxian
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习（二十七）：批量机器学习算法训练选择与调优（进阶）
全栈川川
08-23 1193
批量机器学习算法训练选择与调优（进阶）
【路由优化】随机搜索算法优化带有速度的路由网络【含Matlab源码 2046期】
Matlab领域的博客
02-20 452
随机搜索算法优化带有速度的路由网络 完整的代码，方可运行；可提供运行操作视频！适合小白！
Python基于sklearn库的分类算法简单应用示例
09-20
主要介绍了Python基于sklearn库的分类算法,结合简单实例形式分析了Python使用sklearn库封装朴素贝叶斯、K近邻、逻辑回归、SVM向量机等常见机器学习算法的分类调用相关操作技巧,需要的朋友可以参考下
顺序检索和随机检索
热门推荐
哆啦A梦~~
04-28 1万+
顺序查找  编辑 顺序查找是在一个已知无(或有序）序队列中找出与给定关键字相同的数的具体位置。原理是让关键字与队列中的数从最后一个开始逐个比较，直到找出与给定关键字相同的数为止，它的缺点是效率低下。   随机搜索 随机搜索（random search）是利用随机数求极小点而求得函数近似的最优解的方法。 变量允许的变化区间，不断随机地而不是有倾向性产生随机点，并计算其约束函数和目标函数的...
机器学习入门之分类算法--sklearn
weixin_43889121的博客
12-02 1057
【代码】机器学习入门之分类算法--sklearn。
Python 机器学习4：sklearn 分类算法
Amzmks的博客
07-21 7695
1. 数据集划分 sklearn为我们提供了datasets模块，其中包括很多经典的数据集： from sklearn import datasets 这里我们查看鸢尾花分类的数据集，其中包括特征值和目标值。 from sklearn.datasets import load_iris li = load_iris() print("获取特征值") print(li.data) print("目标值") print(li.target) print(li.DESCR) 将数据集划分为训练集和
机器学习算法基础-覃秉丰 课件+ 代码
07-23
【机器学习算法基础】课程由覃秉丰教授主讲，主要涵盖了机器学习的基本概念、原理以及常见算法的应用。课程旨在帮助初学者理解机器学习的核心思想，并通过实际代码实现加深对算法的理解。 一、机器学习概览 机器...
Python-各种机器学习模型和算法的Python实现
08-11
各种机器学习模型和算法的Python实现，头开始学习
知识领域: html 技术关键词: Scikit-learn、机器学习、分类、回归 内容关键词: 特征工程、模型评估、算法选择
最新发布
06-01
html网页制作机器学习 技术关键词: Scikit-learn、机器...用途: 学习构建和评估机器学习模型 资源描述: Scikit-learn官方文档提供了丰富的机器学习算法实现、详细的教程和示例代码，是机器学习初学者和专家的重要资源。
机器学习实战：Scikit-learn算法应用 描述： 这个资源专注于使用Scikit-learn库进行机器学习模型的训练和评
03-19
描述： 这个资源专注于使用Scikit-learn库进行机器学习模型的训练和评估。它详细介绍了各种监督学习算法，包括分类、回归和聚类，以及如何调优模型参数，适用于希望在实际项目中应用机器学习技术的用户。
Python-基本机器学习算法的简单Python实现
08-11
这个压缩包"machine_learning_basics-master"可能包含了关于基础机器学习算法的实现代码，这些算法是数据科学家和AI开发者常用的工具。以下是对这些算法的详细介绍以及如何使用Python进行实现。 1. **线性回归**：...
sklearn 分类算法
Zcc的博客
05-10 1637
分类算法 整理自黑马机器学习教程 sklearn 转换器与预估器 转换器 在特征工程处理的步骤中有用到转换器，一般使用流程为： 实例化一个转换器 调用fit_transform() 实际上fit_transform()可分为两个步骤进行，这里以标准化为例：x,=x−E(x)σ\displaystyle x^, = \frac{x-E(x)}{\sigma}x,=σx−E(x)​ fit：计算每一列的方差、均值 transfer：根据fit得到的值，对该列的值进行转换 估计器 sklearn中，是一
CNN、RNN、LSTM、BiLSTM、Transformer的在EEG信号处理中的作用
sxn0121的博客
06-02 3801
需要注意的是，CNN和RNN并不是相互排斥的，它们可以结合使用，例如在图像字幕生成任务中，可以使用CNN提取图像特征，然后将这些特征输入到RNN中生成描述文字。总之，CNN主要适用于提取EEG信号的时空特征和多通道处理，而RNN主要适用于捕捉EEG信号中的时间依赖关系和序列建模。在实际应用中，CNN和RNN可以结合使用，以充分利用它们各自的优势。CNN（卷积神经网络）和RNN（循环神经网络）是深度学习中常用的两种神经网络结构，它们在处理不同类型的数据和解决不同类型的问题时具有不同的优势。
机器学习三（学习笔记） 朴素贝叶斯和随机森林1.2(转)
tzyyy1的博客
12-18 3572
一、朴素贝叶斯 朴素贝叶斯（Naive Bayes）是一个非常简单，但是实用性很强的分类模型。朴素贝叶斯分类器的构造基础是贝叶斯理论。 1、概率论基础 概率定义为一件事情发生的可能性。事情发生的概率可以 通过观测数据中的事件发生次数来计算，事件发生的概率等于改事件发生次数除以所有事件发生的总次数。举一些例子： 扔出一个硬币，结果头像朝上 某天是晴天 某个单词在未知文档中出现 我们将事件的概...
[work] 算法学习笔记 （爬山法，模拟退火算法，遗传算法）
This is bill的专属博客
10-08 1086
转载自 http://blog.csdn.net/bcj296050240/article/details/50839806 侵删 在优化问题中，有两个关键点 代价函数 确定问题的形式和规模之后，根据不同的问题，选择要优化的目标。如本文涉及的两个问题中，一个优化目标是使得航班选择最优，共计12个航班，要使得总的票价最少且每个人的等待时间之和最小。第二个问题是学生选择宿舍的问题，每个学生可以实...
几种sklearn库直接实现分类算法
weixin_43129841的博客
10-02 2477
机器学习入门——直接调用sklearn实现几种简单算法 刚学习机器学习，希望大佬们勿喷，望指点 几种分类算法针对鸢尾花数据的分析 1. LR线性回归分类算法 # 引入数据集，sklearn包含众多数据集 from sklearn import datasets from sklearn.model_selection import train_test_split from sklearn.li...
数学建模基本算法模型
qq_51533426的博客
04-14 1598
线性回归模型：用于建立变量之间线性关系的模型，常用于预测和分析数据。 逻辑回归模型：用于建立变量之间的非线性关系，常用于分类问题和概率预测。 决策树模型：将数据集分解成更小的数据集，并对子集进行分类的过程，常用于分类和预测问题。 支持向量机模型：用于分类和回归分析的模型，将数据映射到高维空间，找到超平面将数据分开。 聚类模型：将数据分为若干个类别的模型，常用于数据分析、数据挖掘和图像处理。 神经网络模型：模拟人类大脑神经网络的模型，可用于分类、回归分析和模式识别等问题。 遗传算法模型：一种模拟自
sklearn中常用的分类算法汇总及svm分类模型
qq_43744752的博客
12-09 3061
转载!转载!转载！非原创，此博客仅用于学习。 sklearn中常用的分类算法（模块名–函数名–算法名)： （1) linear_model LogisticRegression 逻辑回归 >>> from sklearn.linear_model import LogisticRegression >>> clf_l1_LR = L...
【随机搜索算法（以3DBPP为例）】
qq_38676663的博客
05-16 1632
随机搜索算法的小Demo

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值