Python数据分析之机器学习：分类

已于 2022-10-13 20:50:02 修改
阅读量2.2k 收藏 34
点赞数
分类专栏： 笔记 文章标签： python 算法 机器学习 分类 数据挖掘
于 2022-10-13 20:48:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45085051/article/details/127145472
版权

目录

一、前期准备

二、划分数据集

三、引入分类的性能评价指标

四、分类算法概述

1、KNN（K-Nearest Neighbors）

2、朴素贝叶斯——朴素：特征间相互独立

3、决策树——切分标准以信息增益大的准则先进行决策

4、支持向量机（Support Vector Machine）

5、集成方法

5.1 袋装法（bagging）——并联

5.2 提升法（boosting）——串联

五、分类模型的训练及预测

一、前期准备

学习：通过接收到的数据，归纳提取出相同与不同之处。

机器学习：让计算机以数据为基础，进行归纳与总结。

  • 监督学习：有标注——分类回归
  • 非监督学习：无标注——聚类关联
  • 半监督学习：部分有标注；部分无标注

案例数据及数据预处理和特征工程——

Python数据分析之特征工程-CSDN博客数据和特征决定了机器学习的上限，而模型和算法只是无限的逼近它而已。特征工程一般包括特征使用、特征获取、特征处理、特征监控四大方面。https://blog.csdn.net/weixin_45085051/article/details/126986556

二、划分数据集

  1. 训练集：用来训练和拟合模型
  2. 验证集：当通过训练集训练出多个模型后，使用验证集数据纠偏或者比较预测
  3. 测试集：模型泛化能力的考量，泛化对未知数据的预测能力

k-fold交叉验证：将数据集分成k份，每次轮流做一遍测试集，其他做训练集

# 切分训练集和验证集(测试集)
from sklearn.model_selection import train_test_split
f_v = features.values  # 原先的数据是DataFrame,装换为数值，得到特征值
f_names = features.columns.values  # 得到特征名称
l_v = label.values
x_tt, x_validation, y_tt, y_validation = train_test_split(f_v, l_v, test_size=0.2)
# 将训练集再切分为训练集和测试集
x_train, x_test, y_train, y_test = train_test_split(x_tt, y_tt, test_size=0.25)

三、引入分类的性能评价指标

# 引入评价指标：精确度；召回率；F1分数
from sklearn.metrics import accuracy_score, recall_score, f1_score

准确率（Accuracy）

精确率（Precision）：在所有预测为正类的样本中，预测正确的比例，也称为查准率

召回率（Recall）：在所有实际为正类的样本中，预测正确的比例，也称为查全率

F1分数（F1 Score）：查准率和查全率的调和平均值

四、分类算法概述

1、KNN（K-Nearest Neighbors）

  • 算法思想：找最近的K个邻居（最好奇数），K个邻居哪种类别多就判定为哪种类别
  • 属于判别模型：不通过联合概率分布，直接可以获得输出对应最大分类的概率

2、朴素贝叶斯——朴素：特征间相互独立

  • 连续值需要离散化，适合离散属性特征
  • 拉普拉斯平滑：条件概率+1（防止分子为0）
  • 属于生成模型：通过求输入与输出的联合概率分布，再求解类别归类的概率
  • 两种分布：伯努利朴素贝叶斯——0-1分布；高斯朴素贝叶斯——高斯分布

3、决策树——切分标准以信息增益大的准则先进行决策

  • 划分标准：信息增益（ID3）；信息增益率（C4.5）；Gini系数（CART）
  • 过拟合采用剪枝策略：
  1. 前剪枝在构造决策树以前规定好每个叶子节点有多少个样本或者规定决策树的最大深度
  2. 后剪枝先构造出决策树，根据经验对样本值比较悬殊的节点进行修剪

4、支持向量机（Support Vector Machine）

  • 算法思想：寻找一个可以最大限度地将两个样本的标注进行区分的超平面
  • 为防止维度爆炸，先在低维空间计算，再进行扩维：
  1. 核函数：线性核函数——没有用到核函数；
  2. 多项式核函数——参数d确定扩充维度；
  3. 高斯径向基RBF核函数——扩充到无限维，但可能过拟合
  • 样本不平衡，出现少部分标注异常——引入松弛变量
  • 多分类问题——两两排列组合进行二分类；某类与其它进行二分类 

5、集成方法

  • 强可学习：多项式学习算法的效果较为明显
  • 弱可学习：多项式学习算法的效果不很明显
  • 算法思想：组合多个模型以获得更好的效果，将很多的机器学习算法组合在一起可能会得到比单一算法更好的计算结果，将几个弱可学习的分类器集合成强可学习的分类器的过程。

5.1 袋装法（bagging）——并联

  • 流程：同时训练出几个相互独立的模型，用子模型对分类结果进行投票，对回归结果的参数取均值。
  • 典型袋装法：随机森林（random forest）
  1. 树的个数n_estimators；
  2. 每棵数的特征数max_features；
  3. 每棵树的训练集子集划分——设置准则要凸显每棵决策树的差异性
  4. 优势：每个决策树可以并不使用全量特征；不需要剪枝，即可有效避免过拟合

5.2 提升法（boosting）——串联

  • 流程：下一个模型用上一个模型的预测结果进行训练，多个模型级联，最后加权叠加，得到判决结果。
  • 典型提升法：Adaboost
  1. 不考虑复杂度，其精度高，且灵活可调；
  2. 几乎不用担心过拟合；
  3. 简化特征工程的流程

五、分类模型的训练及预测结果

# 引入划分数据集的方式
from sklearn.model_selection import train_test_split
# 引入评价指标
from sklearn.metrics import accuracy_score, recall_score, f1_score
# 引入分类模型
from sklearn.neighbors import NearestNeighbors,KNeighborsClassifier
from sklearn.naive_bayes import GaussianNB,BernoulliNB  #高斯贝叶斯，伯努利贝叶斯
from sklearn.tree import DecisionTreeClassifier,export_graphviz  #决策树及画树
from sklearn.svm import SVC  # 从SVM中引入SVC分类器
from sklearn.ensemble import RandomForestClassifier  # 随机森林-bagging集成方法
from sklearn.ensemble import AdaBoostClassifier  # AdaBoost-boosting集成方法


def hr_modeling(features, label):
# 切分训练集和验证集(测试集)
    f_v = features.values  # 原先的数据是DataFrame,装换为数值，得到特征值
    f_names = features.columns.values  # 得到特征名称
    l_v = label.values
    x_tt, x_validation, y_tt, y_validation = train_test_split(f_v, l_v, test_size=0.2)
# 将训练集再切分为训练集和测试集
    x_train, x_test, y_train, y_test = train_test_split(x_tt, y_tt, test_size=0.25)

#将模型的名字和模型函数作为元组添加到列表当中存储；
    models = []
    models.append(("KNN",KNeighborsClassifier(n_neighbors=3))) #指定邻居个数
    models.append(("GaussianNB",GaussianNB()))  #高斯贝叶斯
    models.append(("BernoulliNB",BernoulliNB()))  #伯努利贝叶斯
    models.append(("DecisionTreeGini",DecisionTreeClassifier(min_impurity_split=0.1)))
    #默认criterion是基尼系数，可以填参数来剪枝，进行最小不纯度切分

    models.append(("DecisionTreeEntropy",DecisionTreeClassifier(criterion="entropy")))
    #信息增益

    models.append(("SVM Classifier",SVC(C=1000)))  
    #可以通过参数C来控制精度，C越大要求精度越高；  C——错分点的惩罚度

    models.append(("RandomForest",RandomForestClassifier()))  #可以添加参数调整
    # n_estimators决策树的个数
    # max_features=None表示每棵决策树取全局特征；
    # bootstrap=True有放回采样；False无放回采样
    # oob_score=True将没有被选择到的样本作为验证集

   models.append(("Adaboost",AdaBoostClassifier(base_estimator=SVC(),algorithm='SAMME')))
    # base_estimator 弱基础分类器，需要具备两个属性：classes_ and n_classes_
    # n_estimators 级联的分类器数量
    # learning_rate 权值衰减率
    # algorithm 如果base_estimator能得到分类的概率值——'SAMME.R'

#循环调用所有模型进行训练、预测
    for clf_name, clf in models:
        clf.fit(x_train, y_train)
        xy_lst = [(x_train, y_train), (x_validation, y_validation), (x_test, y_test)]
        for i in range(len(xy_lst)):
            x_part = xy_lst[i][0]  # 为遍历中的第0部分
            y_part = xy_lst[i][1]  # 为遍历中的第1部分
            y_pred = clf.predict(x_part)
            print(i)  # i是下标，0表示训练集，1表示验证集，2表示测试集
            print(clf_name, "ACC:", accuracy_score(y_part, y_pred))
            print(clf_name, "REC:", recall_score(y_part, y_pred))
            print(clf_name, "F-score:", f1_score(y_part, y_pred))

# 调用所有模型
def main():
    features, label = hr_preprocessing()  # 默认是False,也可以改为True
    hr_modeling(features, label)

if __name__ == "__main__":
    main()

KNN的预测结果：

0训练集
KNN ACC: 0.975108345371708
KNN REC: 0.9596287703016241
KNN F-score: 0.9486238532110092
1验证集
KNN ACC: 0.959
KNN REC: 0.9314868804664723
KNN F-score: 0.9122055674518201
2测试集
KNN ACC: 0.954
KNN REC: 0.9273972602739726
KNN F-score: 0.9075067024128687

高斯贝叶斯的训练结果：

0
GaussianNB ACC: 0.7848649849983331
GaussianNB REC: 0.7614849187935034
GaussianNB F-score: 0.628976619394404
1
GaussianNB ACC: 0.7893333333333333
GaussianNB REC: 0.7842565597667639
GaussianNB F-score: 0.629976580796253
2
GaussianNB ACC: 0.779
GaussianNB REC: 0.7753424657534247
GaussianNB F-score: 0.630640668523677

伯努利贝叶斯的训练结果：

0
BernoulliNB ACC: 0.8400933437048561
BernoulliNB REC: 0.46635730858468677
BernoulliNB F-score: 0.5827776167004929
1
BernoulliNB ACC: 0.8493333333333334
BernoulliNB REC: 0.48833819241982507
BernoulliNB F-score: 0.5971479500891266
2
BernoulliNB ACC: 0.8386666666666667
BernoulliNB REC: 0.45616438356164385
BernoulliNB F-score: 0.5791304347826087

基于基尼系数划分决策树的训练结果：

0
DecisionTreeGini ACC: 0.8169796644071563
DecisionTreeGini REC: 0.694199535962877
DecisionTreeGini F-score: 0.6449665876266436
1
DecisionTreeGini ACC: 0.82
DecisionTreeGini REC: 0.7376093294460642
DecisionTreeGini F-score: 0.652061855670103
2
DecisionTreeGini ACC: 0.8316666666666667
DecisionTreeGini REC: 0.7246575342465753
DecisionTreeGini F-score: 0.6769033909149073

基于信息增益决策树的训练结果：

0
DecisionTreeEntropy ACC: 1.0
DecisionTreeEntropy REC: 1.0
DecisionTreeEntropy F-score: 1.0
1
DecisionTreeEntropy ACC: 0.9746666666666667
DecisionTreeEntropy REC: 0.9723032069970845
DecisionTreeEntropy F-score: 0.9460992907801418
2
DecisionTreeEntropy ACC: 0.9753333333333334
DecisionTreeEntropy REC: 0.9684931506849315
DecisionTreeEntropy F-score: 0.950268817204301

支持向量机分类模型的训练结果：0
SVM Classifier ACC: 0.9852205800644516
SVM Classifier REC: 0.9549883990719258
SVM Classifier F-score: 0.9686985172981878
1
SVM Classifier ACC: 0.9736666666666667
SVM Classifier REC: 0.9387755102040817
SVM Classifier F-score: 0.942209217264082
2
SVM Classifier ACC: 0.9683333333333334
SVM Classifier REC: 0.9356164383561644
SVM Classifier F-score: 0.9349760438056125

随机森林的训练结果：

0
RandomForest ACC: 1.0
RandomForest REC: 1.0
RandomForest F-score: 1.0
1
RandomForest ACC: 0.9896666666666667
RandomForest REC: 0.9664723032069971
RandomForest F-score: 0.9771554900515843
2
RandomForest ACC: 0.9896666666666667
RandomForest REC: 0.9657534246575342
RandomForest F-score: 0.9784871616932685

Adaboost 算法的训练结果：

0
Adaboost ACC: 0.7605289476608512
Adaboost REC: 0.0
Adaboost F-score: 0.0
1
Adaboost ACC: 0.7713333333333333
Adaboost REC: 0.0
Adaboost F-score: 0.0
2
Adaboost ACC: 0.7566666666666667
Adaboost REC: 0.0
Adaboost F-score: 0.0

啊心个。
关注
  • 0
    点赞
  • 踩
  • 34
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python数据分析从入门到进阶：分类算法
aobulaien001的博客
12-26 890
分类算法是一种监督学习方法，用于将数据分为不同的类别或组。它是数据分析中的重要工具，可用于解决各种问题，如垃圾邮件检测、疾病诊断、图像识别等。分类算法的目标是从已知类别的训练数据中学习规律，然后将这些规律应用于新数据的分类。分类算法是数据分析的重要组成部分，它可以用于解决各种问题。本文介绍了分类算法的基本概念、Python中的应用以及进阶技巧。通过学习和实践，可以更好地掌握分类算法，提高数据分析的能力和水平。这里先给大家展示一下我进的兼职群和最近接单的截图，小伙伴有需要也可继续往下看.
机器学习分类算法分析及基于Python的实现
02-21
本人大四快毕业了，利用寒假的时间把毕业设计《机器学习分类算法分析及基于Python的实现》做了。该资源是用Python实现机器学习分类算法的代码和一些测试数据，如你觉得有需要的话，可自行下载参考。
数据分析的数据模型
qq_74013365的博客
05-07 2459
数据分析离不开模型。在进行数据分析之前,先搭建数据分析模型,根据模型中的内容,具体细分到不同的数据指标进行细化分析,最终得到想要的分析结果或结论。在本章中,我们将讨论数学分类模型,包括最优化模型,统计模型,特别是统计推断模型,和机器学习模型。目标函数为线性函数并且所有约束条件也都是线性函数,则称其为线性优化模型，也称或线性规划问题。对于有n个变量和m个约束条件线性优化模型具有下述标准形式：我们选择求目标函数的最大值,变量取值非负做为线性优化模型的标准型。
SVM 基本概念及Python实现方式
热门推荐
新手村
11-16 1万+
SVM（support vector machine）支持向量机： 注意：本文不准备提到数学证明的过程，一是因为有一篇非常好的文章解释的非常好：http://blog.csdn.net/v_july_v/article/details/7624837，另一方面是因为我只是个程序员，不是搞数学的（主要是因为数学不好。），主要目的是将SVM以最通俗易懂，简单粗暴的方式解释清楚。 线性分类：
数据挖掘实验：关于SVM的数据分类算法（Python实现）
ljn1124的博客
06-25 1万+
目录 前言 一、思路 二、实现代码 1.安装sklearn库 2.引入库 3.具体代码 三、实验结果 总结 前言 本文是有关SVM（支持向量机）的数据分类算法，使用python实现，基于sklearn库。 一、思路 老师给的数据是690维的带标签的高维数据，标签为0和1，分别代表正负标签。首先需要处理一下数据集，将训练集、测试集的数据和标签分别存在列表中。然后导入sklearn库，调用其中svm函数，定义模型，训练、测试，计算一些反映结果的指标（recall、precision）。.
Python实现支持向量机SVM分类模型线性SVM决策过程的可视化项目实战
胖哥真不错的博客
09-25 5150
Python实现支持向量机SVM分类模型线性SVM决策过程的可视化项目实战
python机器学习——分类模型评估 & 分类算法（k近邻，朴素贝叶斯，决策树，随机森林，逻辑回归，svm）
Arya的博客，专注后端领域
06-24 5594
分类模型评估 & 分类算法（k近邻，朴素贝叶斯，决策树，随机森林，逻辑回归，svm）
基于Python的数据分类的机器学习算法
s0302017的博客
11-18 1016
一、深度学习在数据分类中有着广泛的应用，其主要原因是引入了深度神经网络，这也使得数据分类的准确度得以大幅提高。基于深度神经网络对数据进行分类的主要包括输入层、中间层和输出层三大块，其中输入层是待分类的数据，中间层（隐藏层）就是对前一层的数据进行加权运算和激活的过程，可以包含多个中间层。输入的数据经过输入层、中间层和输出层进行正向移动，但是在这个过程中会产生误差，为了修正误差，引入了 BP 算法来修...
机器学习案例实战：Python文本数据分析新闻分类任务
qq_14815661的博客
07-14 4916
原创文章,如需转载请保留出处 本博客为唐宇迪老师python数据分析与机器学习实战课程学习笔记 一. 文本分析与关键词提取 1.1 文本数据 1.2 停用词 语料中大量出现 没啥大用 留着过年吗 1.3 Tf-idf：关键词提取 《中国的蜜蜂养殖》：进行词频（Term frequency，缩写TF）统计 出现次数最多的词：“的”、“是”、“在”…这类最常用的词（停用词） “中国”、“蜜...
Python数据分析与机器学习实战:问答机器 人
05-02
Python数据分析与机器学习实战:问答机器 人 tmp.py qa.py da ta tasks_1-20_v1-2
Python数据分析+机器学习+深度学习教程源码
最新发布
06-26
Python数据分析+机器学习+深度学习教程源码；Python数据分析+机器学习+深度学习教程源码；Python数据分析+机器学习+深度学习教程源码；Python数据分析+机器学习+深度学习教程源码；Python数据分析+机器学习+深度学习...
python机器学习入门案例——基于SVM分类器的鸢尾花分类（附完整代码）
12-21
数据集介绍 总共包含150行数据 每一行数据由 4 个特征值及一个目标值组成。 4 个特征值分别为：萼片长度、萼片宽度、花瓣长度、花瓣宽度 目标值为三种不同类别的鸢尾花，分别为： Iris Setosa、Iris Versicolour、Iris Virginica 数据集中每朵鸢尾花叫做一个数据点，它的品种叫做它的标签 数据集样式: 导入需要的模块包 import numpy as np from matplotlib import colors from sklearn import svm from sklearn import model_selection import mat
Python数据分析实践：机器学习算法简介.pdf
06-14
Python数据分析实践：机器学习算法简介.pdf
基于跟着迪哥学 Python数据分析与机器学习实战：配套代码和数据集
04-15
基于跟着迪哥学 Python数据分析与机器学习实战：配套代码和数据集 第16章： 聚类实例 第20章：LSTM情感分析 第18章：Tensorflow框架实战 第 15章：降维算法 第14章：打造音乐推荐系统 第12章：支持向量机 第11章：新...
【ML】基于机器学习的心脏病预测研究(附代码和数据集，支持向量机SVM模型)
学无止境、积少成多、厚积薄发
04-03 653
【ML】基于机器学习的心脏病预测研究(附代码和数据集，支持向量机SVM模型)
python sklearn实现机器学习分类算法
qq_28479619的博客
11-17 123
K-Nearest Neighbors (KNN) 是一种基本的分类和回归方法。在分类任务中，KNN 根据输入特征的 k 个最近邻居的类别来预测输入的类别。而在回归任务中，KNN 则根据输入特征的 k 个最近邻居的实数值来预测输入的实数值。在训练过程中，KNN 并不需要明确的训练阶段和预测阶段的划分，而是在输入数据时进行即时预测。KNN 具有简单、直观和易于实现的特点，并且在一些简单的分类和回归问题上表现良好。但是，对于复杂的模式识别问题，KNN 可能需要较大的计算资源和时间来找到足够的最近邻居。12。
python 实现简单的SVM分类器
Kp0fS的草稿纸
08-06 3301
def getData2(): r""" 使用numpy生成随机数； 使用pandas构造满足条件的随机数； :return: """ df = pd.DataFrame() df['X'] = np.random.randint(1,100,size=(100)) df['Y'] = np.random.randint(1,100,size=(100)) G1 = df[(df['X']>50) & (df['Y'].
SVM(支持向量机)进行分类的原理和python代码----通俗易懂
qlkaicx的博客
05-03 9652
以上代码中，我们使用鸢尾花数据集进行SVM分类器的训练和测试。首先，我们通过调用库中的加载函数获取该数据集并将其分成特征和标签两部分。然后，我们将整个数据集划分为训练集和测试集，并使用SVM算法对训练数据集进行拟合得到模型。最后，我们使用该模型预测测试集中的目标分类，并打印出预测结果及模型精度得分。在实际应用中，我们需要根据不同的场景和问题选择最适合的SVM变量和核函数类型（例如线性、多项式或径向基函数等）。
Python在机器学习中的应用：分类算法
realizemydream的专栏
07-23 192
在机器学习的各种算法中，分类算法是一种重要的应用方向。在Python中，使用sklearn库的SVC可以实现基于支持向量机的分类。常见的分类算法包括基于比较器的分类、基于支持向量机的分类、神经网络等。总之，Python在机器学习中的分类算法应用需要不断面对和解决各种问题和挑战，但通过不断的技术创新和改进，将能够不断提高分类算法的准确性和效率，为各领域的发展提供更好的支持。处理不平衡数据：采用过采样技术，如SMOTE算法等，可以生成新的样本数据，提高数据平衡性。二、Python分类算法的应用。
雷课python数据分析课程客户价值.pptx
06-14
雷课 "Python数据分析与机器学习前沿技术"课程客户价值 雷课python数据分析课程客户价值全文共15页，当前为第1页。 一、课程目标与价值 课程意义： 数据分析与机器学习是大数据人工智能时代的核心技术，也是目前学术界和工业界的热点研究方向。 Python是目前最流行的数据分析和机器学习编程语言，其在科学计算、机器学习及深度学习领域的得到了广泛应用，因为其开源特性，互联网存在大量Python实现的各领域最新算法，方便我们查找和使用。 掌握Python数据分析编程技术的人才在市场上炙手可热，是各大互联网公司争夺焦点，Python语言编程教育将很快成为各高校的必修课。 Python是教师和科研工作者开展科学研究的高效工具，可以协助教师快速进行科研数据的收集、处理、深入分析、绘图，获得科研结果来支撑学术论文发表。 课程目标： 学习Python语言开展数据分析与机器学习全流程，包含网络数据爬虫、数据清洗转换、数据统计分析、机器学习与数据挖掘分析、数据可视化等步骤。 学习了解数据分析相关前沿技术，包括大数据、深度学习、自然语言处理等。 通过理论实践结合，掌握利用Python来解决日常科研

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值