决策树
决策树的相关概念
- 信息熵:信息熵表示了信息的不确定性,其具体公式如下,当没有任何其他信息,即所有事件发生概率相等时,信息熵最大。
- 信息增益:信息增益是决策树的划分依据之一,其定义为:特征A对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差。信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度。其公式为:
- 常见决策树使用的算法
ID3
信息增益 最大的准则
C4.5
信息增益比 最大的准则
CART
回归树: 平方误差 最小的准则
分类树: 基尼系数 最小的准则 在sklearn中可以选择划分的原则(默认原则)
决策树的代码实现
- sklearn决策树API:class sklearn.tree.DecisionTreeClassifier(criterion=’gini’, max_depth=None,random_state=None)
决策树分类器
criterion:默认是’gini’系数,也可以选择信息增益的熵’entropy’
max_depth:树的深度大小
random_state:随机数种子
method:
decision_path:返回决策树的路径
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction import DictVectorizer
from sklearn.tree import DecisionTreeClassifier,export_graphviz
from graphviz import Digraph
def decision():
titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt")
x = titan [['pclass','age','sex']]
y = titan ['survived']
x['age'].fillna(x['age'].mean(),inplace = True)
x_train, x_test, y_train, y_test = train_test_split