初识机器学习之决策树对鸢尾花进行分类

最新推荐文章于 2024-08-19 09:07:43 发布

玛丽玛丽会开花

最新推荐文章于 2024-08-19 09:07:43 发布

阅读量3k

点赞数 2

分类专栏：机器学习决策树算法文章标签：机器学习

本文链接：https://blog.csdn.net/sinat_20350479/article/details/72453600

版权

本文介绍了使用Python实现的决策树算法，针对鸢尾花数据集进行分类。通过选取四个特征的不同组合，训练集占70%，测试集占30%。实验结果显示，以花瓣长度和花瓣宽度为特征的分类效果最佳。

摘要由CSDN通过智能技术生成

今天想简单聊一下对机器学习中决策树分类的认识，并实现了一个用决策树对经典鸢尾花数据集分类的应用。在我看来，决策树中最重要的一个概念就是信息熵。X的信息熵用H(X)表示，也就是X所含的信息量大小。
                  H(X)=P(X)logP(X)
                  H(X,Y)=P(X,Y)logP(X,Y)
在决策树分类的建树过程中，由根节点到叶子节点，熵的值应该越来越小，一直到0（对分类结果越来越确定）。基本思想是：以信息熵为度量构造一棵熵值下降最快的树，到叶子结点熵值为0。
决策树的选择特征属性的方式也有很多种，例如ID3，C4.5，CART等等。以ID3为例，这种方式在每一步时选择信息增益最大的属性做下一步的判别属性。
          信息增益Gain(X,f)=H(X)-H(X|f)=I(X|f)   
而C4.5依靠信息增益率Gr(X,f)=Gain(X,f)/H(f);CART依靠Gini系数。在下面的应用中，我们选择ID3对属性进行选择。
鸢尾花数据集是最有名的模式识别测试数据。共包括三个鸢尾花种类，每个类别有五十个样本，四个特征分别为花萼长度，花萼宽度，花瓣长度，花瓣宽度。

鸢尾花数据集
代码使用python实现，随机在四个特征中选择两个进行分类，共六种组合。训练集占0.7，测试集占0.3。

import numpy as np
import pandas as pd
import matplotlib as mpl
import matplotlib.pyplot as plt
from sklearn.tree import DecisionTreeClassifier


# 'sepal length', 'sepal width', 'petal length', 'petal width'
iris_f