【机器学习】分类算法总结 | LDA | logistic回归 | KNN | CART | 贝叶斯 | SVM

最新推荐文章于 2023-08-29 21:24:11 发布
最新推荐文章于 2023-08-29 21:24:11 发布
阅读量564 收藏 5
点赞数
分类专栏： 机器学习 文章标签： 机器学习 分类 回归
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46274756/article/details/126954872
版权

参考教材：《机器学习python实践》

一、主要分类算法总结

示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。

二、LDA

import pandas as pd
import matplotlib.pyplot as plt
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
from pandas.plotting import scatter_matrix
file_name='E:/数学建模2022/算法/分类算法/iris.csv'
names=['separ-length','separ-width','petal_length','petal_width','class']
f=open(file_name)#因为中文要报错，所以多了这么一个步骤
data=pd.read_csv(f,names=names)
array=data.values #从dataframe数据格式转为矩阵格式，重要的一步
X=array[:,:4] #输入特征
Y=array[:,4] #标签label

seed=7
num_folds=10 #通常取3，5，10,不知道设置为多少时，设为10
#K折交叉验证分离的核心函数
kfold=KFold(n_splits=num_folds,random_state=seed,shuffle=True) #n_splits这里指要分成多少块
model=LinearDiscriminantAnalysis() #选择模型
result=cross_val_score(model,X,Y,cv=kfold,scoring='accuracy')#交叉验证的函数，scoring默认为精度，也可以修改为其他的


print('每一折的精度如下')
print(result)
print('评估结果(平均精度)如下：{}'.format(result.mean()))
print('评估结果(标准方差)如下：{}'.format(result.std()))

三、逻辑回归

import pandas as pd
import matplotlib.pyplot as plt
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
from pandas.plotting import scatter_matrix
file_name='E:/数学建模2022/算法/分类算法/iris.csv'
names=['separ-length','separ-width','petal_length','petal_width','class']
f=open(file_name)#因为中文要报错，所以多了这么一个步骤
data=pd.read_csv(f,names=names)
array=data.values #从dataframe数据格式转为矩阵格式，重要的一步
X=array[:,:4] #输入特征
Y=array[:,4] #标签label

seed=7
num_folds=10 #通常取3，5，10,不知道设置为多少时，设为10
#K折交叉验证分离的核心函数
kfold=KFold(n_splits=num_folds,random_state=seed,shuffle=True) #n_splits这里指要分成多少块
model=LogisticRegression() #选择模型
result=cross_val_score(model,X,Y,cv=kfold,scoring='accuracy')#交叉验证的函数，scoring默认为精度，也可以修改为其他的


print('每一折的精度如下')
print(result)
print('评估结果(平均精度)如下：{}'.format(result.mean()))
print('评估结果(标准方差)如下：{}'.format(result.std()))

四、KNN

import pandas as pd
import matplotlib.pyplot as plt
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
from pandas.plotting import scatter_matrix
file_name='E:/数学建模2022/算法/分类算法/iris.csv'
names=['separ-length','separ-width','petal_length','petal_width','class']
f=open(file_name)#因为中文要报错，所以多了这么一个步骤
data=pd.read_csv(f,names=names)
array=data.values #从dataframe数据格式转为矩阵格式，重要的一步
X=array[:,:4] #输入特征
Y=array[:,4] #标签label

seed=7
num_folds=10 #通常取3，5，10,不知道设置为多少时，设为10
#K折交叉验证分离的核心函数
kfold=KFold(n_splits=num_folds,random_state=seed,shuffle=True) #n_splits这里指要分成多少块
model=KNeighborsClassifier() #选择模型
result=cross_val_score(model,X,Y,cv=kfold,scoring='accuracy')#交叉验证的函数，scoring默认为精度，也可以修改为其他的


print('每一折的精度如下')
print(result)
print('评估结果(平均精度)如下：{}'.format(result.mean()))
print('评估结果(标准方差)如下：{}'.format(result.std()))

五、贝叶斯

import pandas as pd
import matplotlib.pyplot as plt
from sklearn.naive_bayes import GaussianNB
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
from pandas.plotting import scatter_matrix
file_name='E:/数学建模2022/算法/分类算法/iris.csv'
names=['separ-length','separ-width','petal_length','petal_width','class']
f=open(file_name)#因为中文要报错，所以多了这么一个步骤
data=pd.read_csv(f,names=names)
array=data.values #从dataframe数据格式转为矩阵格式，重要的一步
X=array[:,:4] #输入特征
Y=array[:,4] #标签label

seed=7
num_folds=10 #通常取3，5，10,不知道设置为多少时，设为10
#K折交叉验证分离的核心函数
kfold=KFold(n_splits=num_folds,random_state=seed,shuffle=True) #n_splits这里指要分成多少块
model=GaussianNB() #选择模型
result=cross_val_score(model,X,Y,cv=kfold,scoring='accuracy')#交叉验证的函数，scoring默认为精度，也可以修改为其他的


print('每一折的精度如下')
print(result)
print('评估结果(平均精度)如下：{}'.format(result.mean()))
print('评估结果(标准方差)如下：{}'.format(result.std()))

六、CART

import pandas as pd
import matplotlib.pyplot as plt
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
from pandas.plotting import scatter_matrix
file_name='E:/数学建模2022/算法/分类算法/iris.csv'
names=['separ-length','separ-width','petal_length','petal_width','class']
f=open(file_name)#因为中文要报错，所以多了这么一个步骤
data=pd.read_csv(f,names=names)
array=data.values #从dataframe数据格式转为矩阵格式，重要的一步
X=array[:,:4] #输入特征
Y=array[:,4] #标签label

seed=7
num_folds=10 #通常取3，5，10,不知道设置为多少时，设为10
#K折交叉验证分离的核心函数
kfold=KFold(n_splits=num_folds,random_state=seed,shuffle=True) #n_splits这里指要分成多少块
model=DecisionTreeClassifier() #选择模型
result=cross_val_score(model,X,Y,cv=kfold,scoring='accuracy')#交叉验证的函数，scoring默认为精度，也可以修改为其他的


print('每一折的精度如下')
print(result)
print('评估结果(平均精度)如下：{}'.format(result.mean()))
print('评估结果(标准方差)如下：{}'.format(result.std()))

七、支持向量机

import pandas as pd
import matplotlib.pyplot as plt
from sklearn.svm import SVC
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
from pandas.plotting import scatter_matrix
file_name='E:/数学建模2022/算法/分类算法/iris.csv'
names=['separ-length','separ-width','petal_length','petal_width','class']
f=open(file_name)#因为中文要报错，所以多了这么一个步骤
data=pd.read_csv(f,names=names)
array=data.values #从dataframe数据格式转为矩阵格式，重要的一步
X=array[:,:4] #输入特征
Y=array[:,4] #标签label

seed=7
num_folds=10 #通常取3，5，10,不知道设置为多少时，设为10
#K折交叉验证分离的核心函数
kfold=KFold(n_splits=num_folds,random_state=seed,shuffle=True) #n_splits这里指要分成多少块
model=SVC() #选择模型
result=cross_val_score(model,X,Y,cv=kfold,scoring='accuracy')#交叉验证的函数，scoring默认为精度，也可以修改为其他的


print('每一折的精度如下')
print(result)
print('评估结果(平均精度)如下：{}'.format(result.mean()))
print('评估结果(标准方差)如下：{}'.format(result.std()))

八、总结

import pandas as pd
import matplotlib.pyplot as plt
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn.linear_model import LogisticRegression
from sklearn.neighbors import KNeighborsClassifier
from sklearn.naive_bayes import GaussianNB
from sklearn.tree import DecisionTreeClassifier
from sklearn.svm import SVC
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
plt.rcParams['font.sans-serif']=['SimHei']#显示中文标签
plt.rcParams['axes.unicode_minus']=False

file_name='E:/数学建模2022/算法/分类算法/iris.csv'
names=['separ-length','separ-width','petal_length','petal_width','class']
f=open(file_name)#因为中文要报错，所以多了这么一个步骤
data=pd.read_csv(f,names=names)
array=data.values #从dataframe数据格式转为矩阵格式，重要的一步
X=array[:,:4] #输入特征
Y=array[:,4] #标签label

seed=7
num_folds=10 #通常取3，5，10,不知道设置为多少时，设为10
#K折交叉验证分离的核心函数
kfold=KFold(n_splits=num_folds,random_state=seed,shuffle=True) #n_splits这里指要分成多少块
models={}
models['LDA']=LinearDiscriminantAnalysis() #选择模型
models['LR']=LogisticRegression() #选择模型
models['KNN']=KNeighborsClassifier() #选择模型
models['NB']=GaussianNB() #选择模型
models['CART']=DecisionTreeClassifier() #选择模型
models['SVM']=SVC() #选择模型
results=[]
for name in models:
    result = cross_val_score(models[name], X, Y, cv=kfold, scoring='accuracy')  # 交叉验证的函数，scori
    results.append(result)
    print('{}的评估结果(平均精度)为：{}，评估结果(标准方差)如下：{}'.format(name,result.mean(),result.std()),)
fig1=plt.figure()
ax=fig1.add_subplot(111)
plt.boxplot(results)
ax.set_xticklabels(models.keys())
plt.title('各个算法箱线图对比')
plt.show()

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

今天一定要洛必达
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于朴素贝叶斯机器学习算法实现情感文本分析与分类
10-06
#清磁盘啦~，CSDN“网盘”真好用，感谢CSDN~ 机器学习，基于朴素贝叶斯机器学习算法实现对情感文本分析与分类（含数据集），sgns.weibo.bigram-char，使用gensim加载预训练中文分词
【机器学习】基于机器学习的乳腺癌预测模型
MING.MING的博客
12-11 2万+
基于机器学习的乳腺癌预测模型（附Python代码）前提说明项目介绍导入数据概述数据数据可视化评估算法实施预测代码参考 前提说明 此博客内容为2018年山东省人工智能大赛曲阜师范大学青春梦想队所创作，未经授权，禁止使用。 项目介绍 这个项目是针对乳腺癌进行分类的一个项目，使用的乳腺癌数据集，具有如下特点： ①所以特征数字都是数字，不需要考虑如何导入以及如何处理数据 ②特征列第一列为用户ID信息，不...
机器学习基础知识点
LSEC小陆的博客
10-24 5040
机器学习基础知识点 文章目录机器学习基础知识点监督学习回归线性回归岭回归lasso回归分类k最近邻分类朴素贝叶斯分类logistic回归支持向量机其他随机梯度下降线性判别分析决策树无监督学习聚类k均值分层次聚类谱聚类高斯混合模型降维PCA降维LLE降维MDS和t-SNE独立成分分析等距特征映射谱嵌入深度学习（一些基本概念）一维卷积（离散）二维卷积（离散）padding反卷积（转置卷积）学习率反向传播正则化softmaxdropout历史随机梯度下降（mini-batch）万有逼近定理几种激活函数白化动量方法
机器学习：线性判别式分析(LDA)
最新发布
AI333888的博客
08-29 827
线性判别式分析（Linear Discriminant Analysis），简称为LDA。也称为Fisher线性判别（Fisher Linear Discriminant，FLD），是模式识别的经典算法，在1996年由Belhumeur引入模式识别和人工智能领域。基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性。LDA与PCA都是常用的降维技术。
sklearn及gensim下lda模型的训练
midae的博客
10-08 2117
sklearn 【sklearn】利用sklearn训练LDA主题模型及调参详解_TiffanyRabbit的博客-CSDN博客sklearn不仅提供了机器学习基本的预处理、特征提取选择、分类聚类等模型接口，还提供了很多常用语言模型的接口，LDA主题模型就是其中之一。本文除了介绍LDA模型的基本参数、调用训练以外，还将提供两种LDA调参的可行策略，供大家参考讨论。考虑到篇幅，本文将略去LDA原理证明部分。https://blog.csdn.net/TiffanyRabbit/article/details
【机器学习LDA降维、PCA降维、基于信息增益率的决策树分类、模型预测性能（SE、SP、ACC 和 AUC）预测】
weixin_43793397的博客
11-25 3838
1. 采用 PCA 对男女生样本数据中的（身高、体重、鞋码、50m 成绩、肺活量） 共 5 个特征进行特征降维，并实现 LDA 算法对处理后的特征进行分类，计算 模型预测性能（包含 SE、SP、ACC 和 AUC），试分析 LDA 算法如果作为降维 技术对于各性能指标的影响。 2. 实现基于信息增益率进行划分选择的决策树算法，对男女生样本数据中的（喜 欢颜色，喜欢运动，喜欢文学）3 个特征进行分类，计算模型预测性能（包 含 SE、SP、ACC），并以友好的方式图示化结果。 本文的运行环境是windows
LDA.rar_LDA 分类_lda_机器学习_模型_贝叶斯
09-24
文本分类模型LDA综述，机器学习贝叶斯网络模型
LDA.rar_LDA 分类器_lda_分类器_机器学习 分类_贝叶斯分类器
09-24
**LDA（线性判别分析）**是统计学和机器学习领域中一种常用的数据降维和分类方法。它的全称是Linear Discriminant Analysis，有时也被称作Fisher's LDA，因为它最初由Ronald Fisher在29世纪初提出。LDA的核心思想是...
R语言分类(SVM KNN LDA等)与回归代码+原始数据+分析报告
01-08
这里提到了几种常见的机器学习算法，包括支持向量机（SVM）、K近邻（KNN）和线性判别分析（LDA）。让我们逐一探讨这些方法及其在R中的应用。 1. 支持向量机（SVM）： 支持向量机是一种监督学习模型，适用于分类和...
LDA降低维度后，SVM技术分类，基于matlabgui的 设计算法
05-31
在本项目中，我们主要探讨的是利用线性判别分析（LDA）进行特征降维，然后使用支持向量机（SVM）进行分类的一种机器学习策略，这一切都是在MATLAB GUI环境中实现的。MATLABGUI是MATLAB图形用户界面，它提供了一个...
机器学习之LDA线性判别分析模型
muli
11-21 613
机器学习之LDA线性判别分析模型 # -*- coding: utf-8 -*- """ Created on Wed Nov 21 21:03:14 2018 @author: muli """ import matplotlib.pyplot as plt import numpy as np from sklearn import datasets, discriminant_ana...
特征工程(六)—(2)利用LDA进行特征转换
qq_44665283的博客
11-27 631
利用LDA进行特征转换
机器学习实战：Python基于LDA线性判别模型进行分类预测（五）
Senoh的博客
04-19 1947
线性判别模型（）是一种经典的监督学习算法，它旨在通过学习输入特征和它们所属类别之间的线性关系来进行分类任务。线性判别模型通常可以被看作是一种分类器，可以用于二元分类和多元分类问题。线性判别模型的主要思想是将输入特征空间中的样本投影到一条直线或者一个超平面上，从而实现对样本的分类。这个超平面的选择是通过最小化类内距离和最大化类间距离来完成的。类内距离指的是同一类别样本之间的距离，类间距离则指不同类别样本之间的距离。通过最小化类内距离和最大化类间距离，线性判别模型能够更好地区分不同类别的样本。
机器学习 -LDA模型
Galbraith_的博客
02-29 626
1. 模型相关参数 1. n_components： 主题的数量。越大，topic越多，perplexity越小，也越容易过拟合。可以画出n_components vs perplexity的变化曲线来确定； 2. doc_topic_prior，文本-主题的先验分布theta，默认为$\frac{1}{n\_components}$ 3. topic_word_prior: 主题-单词先验分布b...
[机器学习算法]线性模型（逻辑回归+LDA）
热门推荐
TOMACAT的博客
08-26 2万+
一、基本形式 二、线性回归 给定数据集，线性回归即试图学得一个线性模型以尽可能准确地预测实值输出标记。 1、模型 2、参数估计方法 ，通过偏导等于0得到最小二乘估计 3、变形 （1）对数线性回归 （2）广义线性模型 ，其中是单调可微函数 三、对数几率回归 1、单位跃阶函数和对数几率函数 单位阶跃函数： 2、对数几率函数 注：逻辑回归的原理就是把线性回...
手写体识别——Knn算法和logistic算法
weixin_45221012的博客
01-06 1957
knn算法和logistic算法均能进行分类问题的监督式学习，knn算法精度略高，但运算较慢。
Python高级--逻辑回归、KNN回归比较
PyRookie
08-18 5653
逻辑斯蒂回归、sklean自带数字图片load_digits()、产生数据集make_blobs 坐标扁平化、取画布上的所有点、指定散点图点的颜色
数据挖掘与分析应用：分类算法：k近邻KNN，决策树CART，贝叶斯，支持向量机SVM，深度学习DNN，xgboost分类
weixin_46838716的博客
11-04 873
数据挖掘与分析应用：分类算法：k近邻KNN，决策树CART，贝叶斯，支持向量机SVM
数学建模 --- 分类模型：逻辑回归 与 LDA
lxin690的博客
08-23 2859
1. 逻辑回归(logistic regression) 2. Fisher线性判别分析 --- LDA
机器学习复习题1
08-03
涵盖了监督学习与无监督学习的算法区分、概率分布的共轭、朴素贝叶斯分类器的特点、正态密度的贝叶斯分类器的决策函数、线性与非线性分类方法、以及与梯度下降法、最大似然估计相关的机器学习概念，还涉及线性鉴别...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值