DataWhale集成学习-Task5

记录DataWhale集成学习的组队学习过程，Task5主要介绍的是一些基本的分类算法，包括逻辑回归、LDA、朴素贝叶斯和CART。因为绝大部分算法在数据挖掘课上都学过，这里就不过多介绍原理了，感兴趣的同学们可以在开源教材上具体的讲解。本篇博客主要是对比以上几种算法的性能以及打卡。。。

算法对比

这里我们使用sklearn自带的手写数字digit数据集，因为是多分类，所以使用macro-F1作为模型结果的标准，为消除随机性，使用十折交叉验证。

import pandas as pd
import numpy as np
from sklearn import datasets
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn.naive_bayes import GaussianNB
from sklearn.svm import SVC
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import cross_val_score

#导入数据
digit = datasets.load_digits()
X = digit.data
y = digit.target

#逻辑回归模型
pipe_logit=make_pipeline(StandardScaler(),LogisticRegression(max_iter=500))#逻辑回归使用梯度算法训练，数据需要标准化。
x=cross_val_score(pipe_logit, X, y, cv=10,scoring='f1_macro').mean()
print("逻辑回归的macro-F1得分为：{:.4f}".format(x))

#LDA模型
lda = LinearDiscriminantAnalysis()
x=cross_val_score(lda, X, y, cv=10,scoring='f1_macro').mean()
print("LDA的macro-F1得分为：{:.4f}".format(x))

#朴素贝叶斯模型
NB= GaussianNB()
x=cross_val_score(NB, X, y, cv=10,scoring='f1_macro').mean()
print("朴素贝叶斯的macro-F1得分为：{:.4f}".format(x))

#SVM模型
svm= make_pipeline(StandardScaler(), SVC(gamma='auto'))#由于使用rbf核函数，所以用管道标准化。
x=cross_val_score(svm, X, y, cv=10,scoring='f1_macro').mean()
print("SVM的macro-F1得分为：{:.4f}".format(x))

#CART模型
cart= DecisionTreeClassifier(min_samples_leaf=2,max_depth=20,min_samples_split=3)
x=cross_val_score(cart, X, y, cv=10,scoring='f1_macro').mean()
print("CART的macro-F1得分为：{:.4f}".format(x))

#结果
逻辑回归的macro-F1得分为：0.9324
LDA的macro-F1得分为：0.9159
朴素贝叶斯的macro-F1得分为：0.8090
SVM的macro-F1得分为：0.9632
CART的macro-F1得分为：0.8287

可以看出，在不调参的情况下，SVM的效果最好，朴素贝叶斯的效果最差。