（五）集成学习上——分类模型

参考：DataWhale教程链接

集成学习（上）所有Task：

（一）集成学习上——机器学习三大任务

（二）集成学习上——回归模型

（三）集成学习上——偏差与方差

（四）集成学习上——回归模型评估与超参数调优

（五）集成学习上——分类模型

（六）集成学习上——分类模型评估与超参数调优

（七）集成学习中——投票法

（八）集成学习中——bagging

（九）集成学习中——Boosting简介&AdaBoost

（十）集成学习中——GBDT

（十一）集成学习中——XgBoost、LightGBM

（十二）集成学习（下）——Blending

（十三）集成学习（下）——Stacking

（十四）集成学习（下）——幸福感预测

（十五）集成学习（下）——蒸汽量预测

写在前面：公式推导好难，哭唧唧，请萌老师加数学课！

2.2 使用sklearn构建完整的分类项目

2.1.1 明确解决问题的模型类型：回归/分类

本次实践项目为分类项目，回归的核心在于预测的结果是离散型变量。

2.1.2 收集数据集并选择合适的特征

在数据集上我们使用我们比较熟悉的IRIS鸢尾花数据集。

import pandas as pd
from sklearn import datasets
iris = datasets.load_iris()
X = iris.data
y = iris.target
feature = iris.feature_names
data = pd.DataFrame(X,columns=feature)
data['target'] = y
data.head()

	sepal length (cm)	sepal width (cm)	petal length (cm)	petal width (cm)	target
0	5.1	3.5	1.4	0.2	0
1	4.9	3.0	1.4	0.2	0
2	4.7	3.2	1.3	0.2	0
3	4.6	3.1	1.5	0.2	0
4	5.0	3.6	1.4	0.2	0

2.1.3 选择度量模型性能的指标

​ 度量分类模型的指标和回归的指标有很大的差异。而回归问题的因变量是连续型，分类问题的因变量的离散型。

​ 在使用分类模型解决的业务问题中，由于业务背景不同，对于每个类别犯错的代价不尽相同，我们对模型预测结果的使用方法也不同。

为了解决这些问题，我们必须将各种情况分开讨论，然后给出评价指标。

• 真阳性TP（True Positive）：预测值和真实值都为正例；

• 真阴性TN（True Negative）：预测值与真实值都为负例；

• 假阳性FP（False Positive）：预测值为正，实际值为负；

• 假阴性FN（False Negative）：预测值为负，实际值为正；[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-a8EoxiK7-1616858237461)(./1.22.png)]

  分类模型的指标：

• 准确率（Accuracy）：分类正确的样本数占总样本的比例，即：$ACC=\frac{TP+TN}{FP+FN+TP+TN}$.

• 精度（Precision）：预测为正且分类正确的样本占预测值为正的比例，即：$PRE=\frac{TP}{TP+FP}$.

• 召回率（Recall）：预测为正且分类正确的样本占类别为正的比例，即：$REC=\frac{TP}{TP+FN}$.

• F1值：综合衡量精度和召回率，为精度和召回率的调和平均。即：$F1=2\frac{PRE\times REC}{PRE+REC}$.

• ROC曲线：以假阳率为横轴，真阳率为纵轴画出来的曲线，曲线下方面积越大越好。

sklearn的评估指标分为几类：

• 仅适用于二分类
• 适用于多分类
• 适用于多标签
• 适用于二分类和多标签

几乎所有指标都适用于二分类。

​ https://scikit-learn.org/stable/modules/model_evaluation.html#classification-metrics
在本次小案例中，我们使用ROC曲线作为最终评价指标。

2.1.4 选择具体的模型并进行训练

（1）逻辑回归

​ 说到分类问题与回归问题的区别，在于回归问题与分类问题需要预测的因变量不一样。在回归问题中，因变量是连续性变量，我们需要预测$E(Y|X)$是一个连续的实数，但是在分类问题中，我们往往是通过已知X的信息预测Y的类别，往往是一个离散集合中的某个元素。如：是否患癌症，图片是猫还是狗等。一个很自然的想法是能否用线性回归去处理分类问题，答案是可以但不好！先来看看线性回归处理分类问题会出现什么弊端，我们仔细来看这个线性回归的例子，$default={\beta }_0+{\beta }_{1}Balance+{\beta }_{2}Income$，只要输入Balance 和 Income 以及default的数据就能用最小二乘法估计出${\beta }_0,{\beta }_1$,设定预测的default>0.5就是违约反之不违约，感觉很完美的样子，但事实真的是这样吗？假设我们需要用某个人的债务(Balance)和收入(Income)去预测是否会信用卡违约(default)：

​ 问题① 我们假设有一个穷人Lisa,他的Balance和Income都很小，那么有可能会导致default的值为负数，那么这个负数代表什么意义呢？显然是没有任何意义的。
​ 问题② 当我们的分类变量是多类的时候，以0.5为界限划分分类就不可用了，那么我们应该怎么找到一个界限衡量多分类呢？

基于以上问题，现在大家是否还觉得线性回归模型作为一个分类模型是否足够优秀呢？其实，为了解决问题①，我们来想想能不能将线性回归的结果default转化为区间[0:1]上，让default转变成一个违约的概率呢？

​ 我们先来认识下一组函数，这组函数具有神奇的作用，可以将是实数轴上的数转换为[0:1]区间上的概率。

首先，我们假设我们的线性回归模型为 $Y={\beta }_0+{\beta }_{1}X$，那么这个函数是如何将线性回归的结果转化为概率呢？这个函数就是logistic 函数，具体的形式为 $p(X)=\frac{e^{{\beta }_0+{\beta }_{1}X}}{1+e^{{\beta }_0+{\beta }_{1}X}}$，他的函数图像如下图：（左边是线性回归，右边是逻辑函数）

因此，我们假设逻辑回归模型为：$p(y=1|x)=\frac{1}{1+e^{-w^{T}x}}$ .

算法推导看不懂，哭唧唧

下面我们来具体推导下逻辑回归模型：
假设数据 D a t a { ( x i , y i ) } ,      i = 1 , 2 , . . . , N ,      x i ∈ R p , y i ∈ { 0 , 1 } Data\{(x_i,y_i) \},\;\;i = 1,2,...,N,\;\;x_i \in R^p,y_i \in \{0,1 \} Data{(xi​,yi​)},i=1,2,...,N,xi​∈Rp,yi​∈{0,1}，设$p_1=p(y=1|x)=\sigma (w^T)=\frac{1}{1+e^{-w^{T}x}}$。因为y只可能取0或者1，因此假设数据服从0-1分布，也叫伯努力分布，即：当y=1时，$p(y|x)=p_1$，当y=0时，$p(y|x)=1-p_1$，可以写成$p(y|x)=p_1^y(1-p_1{)}^{1-y}$，可以带入y=0和y=1进去验证，结果和前面的结论一模一样。

我们使用极大似然估计MLE，即：
$$\begin{gathered} \hat{w}=argma{x}_{w}logP(Y|X)=argma{x}_{x}log\prod _{i=1}^{N}P(y_i|x_i)=argma{x}_w\sum _{i=1}^{N}logP(y_i|x_i) \\ =argma{x}_w\sum _{i=1}^N(y_{i}log{p}_1+(1-y_i)log(1-p_1)) \\ 记：L(w)=\sum _{i=1}^N(y_{i}log{p}_1+(1-y_i)log(1-p_1)) \\ \frac{\partial L}{\partial w_k}=\sum _{i=1}^N{y}_i\frac{1}{p_1}\frac{\partial p_1}{\partial z}\frac{\partial z}{\partial w_k}+(1-y_i)\frac{1}{1-p_1}(-\frac{\partial p_1}{\partial z}\frac{\partial z}{\partial w_k}) \\ =\sum _{i=1}^N{y}_i\frac{1}{\sigma (z)}(\sigma (z_i)-\sigma (z_i{)}^2)x_i+(1-y_i)\frac{1}{1-\sigma (z_i)}[-(\sigma (z_i)-\sigma (z_i{)}^2)x_i] \\ =\sum _{i=1}^N[(y_i-y_i\sigma (z_i))x_i+(1-y_i)(-\sigma (z_i))x_i] \\ =\sum _{i=1}^N{y}_i{x}_i-\sigma (z_i)x_i=\sum _{i=1}^N(y_i-\sigma (z_i))x_i \end{gathered}$$
因此，$\frac{\partial L}{\partial w_k}=\sum _{i=1}^N(y_i-\sigma (z_i))x_i$，由于这里涉及的函数不像线性回归一样能简单求出解析解，因此我们使用迭代的优化算法：梯度下降法，即：

$w_k^{(t+1)}\leftarrow w_k^{(t)}-\eta \sum _{i=1}^N(y_i-\sigma (z_i))x_i^{(k)},其中，x_i^{(k)}为第i个样本第k个特征$

​

​ 对于问题② ,我们值得注意的是，逻辑回归在实际中不太用于多分类问题，因为实际效果不是很好，所以我们可以借助其他模型来解决这个问题，那让我们来解决这个遗留下来的问题吧。

​

（2）基于概率的分类模型：

① 线性判别分析

线性判别分析是一个比较久远的算法，我将会从两个方向去描述这个算法，因为我觉得每位读者都有自己喜欢的那个理解的方向，分别是基于贝叶斯公式和降维分类的思想。

• 基于贝叶斯公式对线性判别分析的理解：

  在讨论如何解决多分类问题之前，我们先来说说贝叶斯的那些事吧。在概率统计的领域里有一条神奇的公式叫贝叶斯定理，具体的形式是：$P(Y=k|X=x)=\frac{{\pi }_k{f}_k(x)}{\sum _{l=1}^K{\pi }_l{f}_l(x)}$ ，我们 先不要被公式的符号吓到，我们先来看看符号具体代表什么意思。我们假设观测有$K$类，${\pi }_k$为随机选择的观测来自第$k$类的 先验概率，也就是样本里面第$k$类的样本个数除以总样本的个数：${\pi }_k=\frac{n_k}{n}$。再来 $f_k(x)=P(X=x|Y=k)$，表示第$k$类观测的$X$的密度函数，说的直白一点就是在$Y=k$的样本里$X=x$的样本个数，即$f_k(x)=P(X=x|Y=k)=\frac{n_{(X=x,Y=k)}}{n_{(Y=k)}}$，最后，$\sum _{l=1}^K{\pi }_l{f}_l(x)=P(X=x)=\frac{n_{(X=x)}}{n}$，也就是样本中$X=x$的概率。
  在讨论贝叶斯定理后，我们回到分类问题，这个定理跟我们的分类问题有什么关联呢？没错，这个公式$P(Y=k|X=x)=\frac{{\pi }_k{f}_k(x)}{\sum _{l=1}^K{\pi }_l{f}_l(x)}$给出了给定样本条件下，$Y=k$这个类别下的概率，这给分类问题提供了一条思路，那就是计算这个$P(Y=k|X=x)$，而且我们的逻辑回归就是这么干的，但是在$P(Y=k|X=x)=\frac{{\pi }_k{f}_k(x)}{\sum _{l=1}^K{\pi }_l{f}_l(x)}$这个公式中，分母$\sum _{l=1}^K{\pi }_l{f}_l(x)=P(X=x)$当样本给定的时候是一个与分类$k$无关的常数,所以我们的问题可以简化为只需要计算分子${\pi }_k{f}_k(x)$,进而比较哪个类别的概率最大就知道属于哪个类别了，因此我们的分类思路就出来啦，这个思路不同于逻辑回归，逻辑回归需要计算具体的$P(Y=k|X=x)$概率值，而我们现在的思路是通过贝叶斯定理计算贝叶斯定理的分子，比较分子最大的那个类别为最终类别。

  在我们推导复杂算法之前，我们先推导下简单的当自变量个数只有一个的模型，即$p=1$的简单模型。我们记$P(Y=k|X=x)=\frac{{\pi }_k{f}_k(x)}{\sum _{l=1}^K{\pi }_l{f}_l(x)}$ 的分子为$g_k(x)={\pi }_k{f}_k(x)$。在这里，我们做个模型假设：假设$f_k(x)$服从正态分布，即$f_k(x)\sim N(\mu ,{\sigma }_k^2)$，而且每个${\sigma }_k^2={\sigma }^2$，同方差假设。因此$f_k(x)=\frac{1}{\sqrt{2\pi }{\sigma }_k}{e}^{-\frac{1}{2{\sigma }^2}(x-{\mu }_k{)}^2}$，最终我们的$g_k(x)={\pi }_k\frac{1}{\sqrt{2\pi }{\sigma }_k}{e}^{-\frac{1}{2{\sigma }^2}(x-{\mu }_k{)}^2}$,终于算出来啦。这个式子不是很好计算，我们对$g_k(x)$取个对数，令${\delta }_k(x)=ln(g_k(x))=ln{\pi }_k+\frac{\mu }{{\sigma }^2}x-\frac{{\mu }^2}{2{\sigma }^2}$，到这里我们的模型建立模型，我们只需要把位置的${\mu }_k$与${\sigma }^2$估计出来就好了。${\hat{\mu }}_k=\frac{1}{n_k}\sum _{i:y_i=k}{x}_i$，也就是当$y=k$这一类中$x$的平均值；${\hat{\sigma }}^2=\frac{1}{n-K}\sum _{k=1}^K\sum _{i:y_i=k}(x_i-{\hat{\mu }}_k{)}^2$，说白了就是计算每一类的方差，再求平均值。总结下上面的公式就是：

  $\{\begin{array}{l}{\delta }_k(x)=ln(g_k(x))=ln{\pi }_k+\frac{\mu }{{\sigma }^2}x-\frac{{\mu }^2}{2{\sigma }^2}\\ {\hat{\mu }}_k=\frac{1}{n_k}\sum _{i:y_i=k}{x}_i\\ {\hat{\sigma }}^2=\frac{1}{n-K}\sum _{k=1}^K\sum _{i:y_i=k}(x_i-{\hat{\mu }}_k{)}^2\end{array}$

  至此，我们的模型就建立完成了，我们只需要代入数据求出${\delta }_k(x)$，哪个$k$对应的${\delta }_k(x)$大，就是哪一类。

  （下图虚线是线性判别分析的决策边界，正态曲线哪边高样本就是哪一类）

  

  我们推到出了一个自变量的简单模型，就要泛化为多个自变量的线性判别分析了，即$p>1$。其实原理一样的，只是将一元正态分布扩展为多元正态分布：
  $f_k(x)=\frac{1}{(2\pi {)}^{\frac{p}{2}}|\Sigma {|}^{\frac{1}{2}}}{e}^{[-\frac{1}{2}(x-{\mu }_k{)}^T{\Sigma }^{-1}(x-{\mu }_k)]}$

  $\widehat{{\mu }_k}=({\mu }_{k1},{\mu }_{k2},......,{\mu }_{kp}),\hat{\Sigma }=\frac{1}{p-1}\sum _{j=1}^p(x_j-\overline{x})(x_j-\overline{x}{)}^T$

  ${\delta }_k(x)=ln({\pi }_k{f}_k(x))=ln({\pi }_k)-(\frac{p}{2}ln(2\pi )+\frac{1}{2}ln(|\Sigma |))-\frac{1}{2}(x-{\mu }_k{)}^T{\Sigma }^{-}1(x-{\mu }_k)=x^T\hat{\Sigma }{\hat{\mu }}_k-\frac{1}{2}{\hat{\mu }}_k^T{\hat{\Sigma }}^{-1}{\hat{\mu }}_k+ln{\hat{\pi }}_k$

• 基于降维分类的思想理解线性判别分析：

  基于数据进行分类时，一个很自然的想法是：将高维的数据降维至一维，然后使用某个阈值将各个类别分开。下面用图的形式展示：
  

  图中，数据的维度是二维的，我们的想法是把数据降维至一维，然后用阈值就能分类。这个似乎是一个很好的想法，我们总是希望降维后的数据同一个类别自身内部方差小，不同类别之间的方差要尽可能大。这也是合理的，因为同一个类别的数据应该更加相似，因此方差小；不同类别的数据之间应该很不相似，这样才能更容易对数据进行分类，我们简称为：类内方差小，类间方差大，在计算机语言叫“松耦合，高内聚”。在做具体的推导之前，我们对数据的形式和一些基本统计量做一些描述：

  ​ 特征$X=(x_1,x_2,...,x_N{)}^T$，因变量 Y = ( y 1 , y 2 , . . . , y N ) T ,      其中， y i ∈ { + 1 , − 1 } Y = (y_1,y_2,...,y_N)^T,\;\;其中，y_i \in \{+1,-1 \} Y=(y1​,y2​,...,yN​)T,其中，yi​∈{+1,−1}，类别c1的特征 X c 1 = { x i ∣ y i = + 1 } X_{c_1} = \{x_i|y_i=+1 \} Xc1​​={xi​∣yi​=+1}，同理，类别c2的特征 X c 2 = { x i ∣ y i = − 1 } X_{c_2} = \{x_i|y_i=-1 \} Xc2​​={xi​∣yi​=−1}，属于c1类别的数据个数为$N_1$，属于类别c2的数据个数为$N_2$，其中，$N_1+N_2=N$。

  特征X投影在w方向至一维：$z_i=w^T{x}_i,||w||=1$

  全样本投影的均值$\bar{z}=\frac{1}{N}\sum _{i=1}^N{z}_i=\frac{1}{N}\sum _{i=1}^N{w}^T{x}_i$

  全样本投影的协方差$S_z=\frac{1}{N}\sum _{i=1}^N(z_i-\bar{z})(z_i-\bar{z}{)}^T=\frac{1}{N}\sum _{i=1}^N(w^T{x}_i-\bar{z})(w^T{x}_i-\bar{z}{)}^T$

  c1样本投影的均值$\overline{z_1}=\frac{1}{N_1}\sum _{i=1}^{N_1}{z}_i=\frac{1}{N_1}\sum _{i=1}^{N_1}{w}^T{x}_i$

  c1样本投影的协方差$S_{z_1}=\frac{1}{N_1}\sum _{i=1}^{N_1}(z_i-\overline{z_1})(z_i-\overline{z_1}{)}^T=\frac{1}{N_1}\sum _{i=1}^{N_1}(w^T{x}_i-\overline{z_1})(w^T{x}_i-\overline{z_1}{)}^T$

  c2样本投影的均值 $\overline{z_2}=\frac{1}{N_2}\sum _{i=1}^{N_2}{z}_i=\frac{1}{N_2}\sum _{i=1}^{N_2}{w}^T{x}_i$

  c2样本投影的协方差$S_{z_2}=\frac{1}{N_2}\sum _{i=1}^{N_2}(z_i-\overline{z_2})(z_i-\overline{z_2}{)}^T=\frac{1}{N_2}\sum _{i=1}^{N_2}(w^T{x}_i-\overline{z_2})(w^T{x}_i-\overline{z_2}{)}^T$

  类间差距：$({\bar{z}}_1-{\bar{z}}_2{)}^2$

  类内方差：$S_1+S_2$

  由于线性判别分析的目标是同一类别内方差小，不同类别之间距离大，因此损失函数定义为：

$$\begin{gathered} J(w)=\frac{({\bar{z}}_1-{\bar{z}}_2{)}^2}{s_1+s_2}=\frac{w^T({\bar{x}}_{c_1}-{\bar{x}}_{c_2})({\bar{x}}_{c_1}-{\bar{x}}_{c_2}{)}^{T}w}{w^T(s_{c_1}+s_{c_2})w} \\ \hat{w}=argma{x}_{w}J(w) \end{gathered}$$

记：$S_b=({\bar{x}}_{c_1}-{\bar{x}}_{c_2})({\bar{x}}_{c_1}-{\bar{x}}_{c_2}{)}^T,S_w=(s_{c_1}+s_{c_2})$，因此$J(w)=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$

让$J(w)$对$w$求导等于0，求出：$w=S_w^{-1}({\bar{x}}_{c_1}-{\bar{x}}_{c_2})$

② 朴素贝叶斯：

在线性判别分析中，我们假设每种分类类别下的特征遵循同一个协方差矩阵，每两个特征之间是存在协方差的，因此在线性判别分析中各种特征是不是独立的。但是，朴素贝叶斯算法对线性判别分析作进一步的模型简化，它将线性判别分析中的协方差矩阵中的协方差全部变成0，只保留各自特征的方差，也就是朴素贝叶斯假设各个特征之间是不相关的。在之前所看到的偏差-方差理论中，我们知道模型的简化可以带来方差的减少但是增加偏差，因此朴素贝叶斯也不例外，它比线性判别分析模型的方差小，偏差大。虽然简化了模型，实际中使用朴素贝叶斯的案例非常多，甚至多于线性判别分析，例如鼎鼎大名的新闻分类，垃圾邮件分类等。

#  逻辑回归
'''
penalty       {‘l1’, ‘l2’, ‘elasticnet’, ‘none’}, default=’l2’正则化方式
dual      bool, default=False   是否使用对偶形式，当n_samples> n_features时，默认dual = False。   
C        float, default=1.0      
solver       {‘newton-cg’, ‘lbfgs’, ‘liblinear’, ‘sag’, ‘saga’}, default=’lbfgs’     
l1_ratio         float, default=None           
'''
from sklearn.linear_model import LogisticRegression
log_iris = LogisticRegression()
log_iris.fit(X,y)
log_iris.score(X,y)

0.9733333333333334

# 线性判别分析
'''
参数：
solver:{'svd'，'lsqr'，'eigen'}，默认='svd'
solver的使用，可能的值：
'svd'：奇异值分解（默认）。不计算协方差矩阵，因此建议将此求解器用于具有大量特征的数据。

'lsqr'：最小二乘解，可以与收缩结合使用。

'eigen'：特征值分解，可以与收缩结合使用。
'''
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
lda_iris = LinearDiscriminantAnalysis()
lda_iris.fit(X,y)
lda_iris.score(X,y)
   

0.98

# 朴素贝叶斯             
from sklearn.naive_bayes import GaussianNB
NB_iris = GaussianNB()
NB_iris.fit(X, y)
NB_iris.score(X,y)

0.96

（3）决策树 ：

​ 在回归树中，对一个给定的观测值，因变量的预测值取它所属的终端结点内训练集的平均因变量。与之相对应，对于分类树来说，给定一个观测值，因变量的预测值为它所属的终端结点内训练集的最常出现的类。分类树的构造过程与回归树也很类似，与回归树一样，分类树也是采用递归二叉分裂。但是在分类树中，均方误差无法作为确定分裂节点的准则，一个很自然的替代指标是分类错误率。

分类错误率：此区域内的训练集中非常见类所占的类别，即：
$$E=1-ma{x}_k({\hat{p}}_{mk})$$
上式中的${\hat{p}}_{mk}$代表第m个区域的训练集中第k类所占的比例。但是在大量的事实证明：分类错误率在构建决策树时不够敏感，一般在实际中用如下两个指标代替：

(1) 基尼系数：
$$G=\sum _{k=1}^K{\hat{p}}_{mk}(1-{\hat{p}}_{mk})$$
在基尼系数的定义中，我们发现这个指标衡量的是K个类别的总方差。不难发现，如果所有的${\hat{p}}_{mk}$的取值都接近0或者1，基尼系数会很小。因此基尼系数被视为衡量结点纯度的指标----如果他的取值小，那就意味着某个节点包含的观测值几乎来自同一个类别。

由基尼系数作为指标得到的分类树叫做：CART。

(2) 交叉熵：
$$D=-\sum _{k=1}^K{\hat{p}}_{mk}log{\hat{p}}_{mk}$$
显然，如果所有的${\hat{p}}_{mk}$都接近于0或者1，那么交叉熵就会接近0。因此，和基尼系数一样，如果第m个结点的纯度越高，则交叉熵越小。事实证明，基尼系数和交叉熵在数值上时很接近的。

决策树分类算法的完整步骤：

a. 选择最优切分特征$j$以及该特征上的最优点$s$：遍历特征$j$以及固定$j$后遍历切分点$s$，选择使得基尼系数或者交叉熵最小的$(j,s)$

b. 按照$(j,s)$分裂特征空间，每个区域内的类别为该区域内样本比例最多的类别。

c. 继续调用步骤a，b直到满足停止条件，就是每个区域的样本数小于等于5。

d. 将特征空间划分为$J$个不同的区域，生成分类树。

# 使用决策树算法对iris分类：
'''
criterion:{“gini”, “entropy”}, default=”gini”
max_depth:树的最大深度。
min_samples_split:拆分内部节点所需的最少样本数
min_samples_leaf :在叶节点处需要的最小样本数。
'''

from sklearn.tree import DecisionTreeClassifier
tree_iris = DecisionTreeClassifier(min_samples_leaf=5)
tree_iris.fit(X,y)
tree_iris.score(X,y)

0.9733333333333334

利用graphviz画出决策树图像：

import graphviz
from sklearn import tree

feature_name=['花萼长度', '花萼宽度', '花瓣长度', '花瓣宽度']
class_name=['山鸢尾花',"变色鸢尾花","维吉尼亚鸢尾花"]

dot_data = tree.export_graphviz(tree_iris
                                ,feature_names= feature_name
                                ,class_names=class_name
                                ,filled=True
                                ,rounded=True
                                )
graph = graphviz.Source(dot_data)
graph

公式推导更加看不懂，SVM需要拿出几天死磕啊！！！

（4）支持向量机SVM：

没看懂，o(╥﹏╥)o

（5）非线性支持向量机：

没看懂，o(╥﹏╥)o

from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
'''
C:正则化参数。正则化的强度与C成反比。必须严格为正。惩罚是平方的l2惩罚。
kernel:{'linear'，'poly'，'rbf'，'sigmoid'，'precomputed'}，默认='rbf'
degree:多项式和的阶数
gamma:“ rbf”，“ poly”和“ Sigmoid”的内核系数。
shrinking:是否软间隔分类，默认true

'''
svc_iris = make_pipeline(StandardScaler(), SVC(gamma='auto'))
svc_iris.fit(X, y)
svc_iris.score(X,y)

0.9733333333333334

拓展学习资料：

关于梯度下降法：

最优化理论之无约束优化基本结构及其python应用：https://zhuanlan.zhihu.com/p/163405865

最优化理论之负梯度方法与Newton型方法：https://zhuanlan.zhihu.com/p/165914126

简单理解线性判别分析https://zhuanlan.zhihu.com/p/66088884
Python实现决策树https://zhuanlan.zhihu.com/p/65304798
数学估计方法——最小方差、极大似然与贝叶斯https://zhuanlan.zhihu.com/p/41015902
机器学习之sklearn基本分类方法https://zhuanlan.zhihu.com/p/173945775
机器学习优化算法之贝叶斯优化https://zhuanlan.zhihu.com/p/146329121
机器学习之简单分类模型https://zhuanlan.zhihu.com/p/137215803