分类算法之决策树、随机森林

决策树

决策树的相关概念

1. 信息熵：信息熵表示了信息的不确定性，其具体公式如下，当没有任何其他信息，即所有事件发生概率相等时，信息熵最大。
   
2. 信息增益：信息增益是决策树的划分依据之一，其定义为：特征A对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差。信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度。其公式为：
   
3. 常见决策树使用的算法
   ID3
   信息增益 最大的准则
   C4.5
   信息增益比 最大的准则
   CART
   回归树: 平方误差 最小的准则
   分类树: 基尼系数 最小的准则 在sklearn中可以选择划分的原则（默认原则）

决策树的代码实现

1. sklearn决策树API：class sklearn.tree.DecisionTreeClassifier(criterion=’gini’, max_depth=None,random_state=None)
   决策树分类器
   criterion:默认是’gini’系数，也可以选择信息增益的熵’entropy’
   max_depth:树的深度大小
   random_state:随机数种子
   method:
   decision_path:返回决策树的路径

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction import DictVectorizer
from sklearn.tree import DecisionTreeClassifier,export_graphviz
from graphviz import Digraph


def decision():

    # 从网上获取数据
    titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt")

    # 选择特征值和目标值
    x = titan [['pclass','age','sex']]
    y = titan ['survived']
    # print(x)

    # 处理缺失值
    x['age'].fillna(x['age'].mean(),inplace = True)

    # 分割数据到训练集和测试集
    x_train, x_test, y_train, y_test = train_test_split(x