机器学习之知识点（四）

一、分类算法——决策树

1，决策树

决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-then结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法。

信息和消除不确定性是相联系的。

2，决策树划分依据之信息增益

特征A对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差，即公式：

g(D,A)=H(D)-H(D|A)

注意：信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度。

3，常见决策树使用的算法

• ID3：信息增益最大的准则
• C4.5：信息增益比最大的准则
• CART：回归树：平方误差最小；分类树：基尼系数最小的准测，在sklearn 中可以选择划分的原则。

sklearn决策树API：

 

 决策树的结构、本地保存：

 

import pandas as pd
from sklearn.datasets import load_iris,fetch_20newsgroups,load_boston
from sklearn.model_selection import train_test_split,GridSearchCV
from sklearn.neighbors import KNeighborsClassifier
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import classification_report
from sklearn.feature_extraction import DictVectorizer
from sklearn.tree import DecisionTreeClassifier,export_graphviz

def decision():
    """
    决策树对泰坦尼克号进行预测生死
    :return:
    """
    # 读取数据
    titan=pd.read_csv("http://biostat.ma.vanderbilt.edu/wiki/pud/Main/DataSets/titanic.txt")

    #处理数据,找出特征值和目标值
    x=titan[['pclass','age','sex']]

    y=titan['survived']

    #缺失值处理
    x['age'].fillna(x['age'].mean(),inplace=True)

    #分割数据集到训练集合测试集
    x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.25)

    #进行处理（特征工程）  特征-》 类别 -》one_hot编码
    dict=DictVectorizer(sparse=False)

    x_train=dict.fit_transform(x_train.to_dict(orient="records"))

    x_test=dict.transform(x_test.to_dict(orient="records"))

    #用决策树进行预测
    dec=DecisionTreeClassifier(max_depth=5)

    dec.fit(x_train,y_train)
    #预测准确率

    print("预测的准确率：",dec.score(x_test,y_test))

    #导出决策树的结构
    export_graphviz(dec,out_file="./tree.dot",feature_names=['年龄','pclass=1st','pclass=2nd','pclass=3rd','女性','男性'])
    

    return None

if __name__=="__main__":
    decision()

结果展示： 

 

 

 

4，决策树的优缺点以及改进

优点：

• 简单的理解 和解释，树木可视化
• 需要很少的数据准备，其他技术通常需要数据归一化

缺点：决策树学习者可以创建不能很好的推广数据的过于复杂的树，这被称为过拟合。

改进：

• 减枝cart算法（决策树API当中已经实现，随机森林参数调优有相关介绍）
• 随机森林

注：企业重要决策，由于决策树很好的分析能力，在决策过程应用较多。

二、集成学习方法——随机森林

集成学习通过建立几个模型组合的来解决单一预测问题，他的工作原理是生成多个分类器/模型，各自独立地学习和做出预测，这些预测最后结合成单预测，因此优于任何一个单分类地做出预测。

随机森林API：

import pandas as pd
from sklearn.datasets import load_iris,fetch_20newsgroups,load_boston
from sklearn.model_selection import train_test_split,GridSearchCV
from sklearn.neighbors import KNeighborsClassifier
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import classification_report
from sklearn.feature_extraction import DictVectorizer
from sklearn.tree import DecisionTreeClassifier,export_graphviz
from sklearn.ensemble import RandomForestClassifier

def decision():
    """
    决策树对泰坦尼克号进行预测生死
    :return:
    """
    # 读取数据
    titan=pd.read_csv("http://biostat.ma.vanderbilt.edu/wiki/pud/Main/DataSets/titanic.txt")

    #处理数据,找出特征值和目标值
    x=titan[['pclass','age','sex']]

    y=titan['survived']

    #缺失值处理
    x['age'].fillna(x['age'].mean(),inplace=True)

    #分割数据集到训练集合测试集
    x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.25)

    #进行处理（特征工程）  特征-》 类别 -》one_hot编码
    dict=DictVectorizer(sparse=False)

    x_train=dict.fit_transform(x_train.to_dict(orient="records"))

    x_test=dict.transform(x_test.to_dict(orient="records"))


    #随机森林进行预测（超参数调优）
    rf=RandomForestClassifier()

    param={"n_estimators":[120,200,300,500,800,1200],"max_depth":[5,8,15,25,30]}

    #网格搜索与交叉验证
    gc=GridSearchCV(rf,param_grid=param,cv=2)

    gc.fit(x_train,y_train)
    print("准确率：",gc.score(x_test,y_test))
    print("查看选择地参数模型：",gc.best_params_)
    return None

if __name__=="__main__":
    decision()

 结果：

 

 随机森林的优点：

• 在当前所有算法中，具有极好的准确率
• 能够有效的运行在大数据集上
• 能够处理具有高维特征的输入样本，而且不需要降维
• 能够评估各个特征在分类问题上的重要性