决策树和随机森林

决策树

• ID3
  信息增益 最大的准则
• C4.5
  信息增益比 最大的准则
• CART
  回归树: 平方误差 最小
  分类树: 基尼系数 最小的准则 在sklearn中可以选择划分的原则

class sklearn.tree.DecisionTreeClassifier(criterion=’gini’, max_depth=None,random_state=None)

决策树分类器
criterion:默认是’gini’系数，也可以选择信息增益的熵’entropy’
max_depth:树的深度大小
random_state:随机数种子
method:
decision_path:返回决策树的路径

优点：

简单的理解和解释，树木可视化。
需要很少的数据准备，其他技术通常需要数据归一化，

缺点：

决策树学习者可以创建不能很好地推广数据的过于复杂的树，这被称为过拟合。
决策树可能不稳定，因为数据的小变化可能会导致完全不同的树被生成

eg:泰坦尼克数据集，用决策树预测生还情况

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier,export_graphviz
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import classification_report
#导入数据集，取3个特征作为测试，对分类变量做哑变量处理
df1=pd.read_csv(r"C:\Users\admin\Desktop\python2\data\titanic.csv")
df2=df1[['Pclass','Sex', 'Age']]
df2.Age.fillna(df2.Age.mean(),inplace=True)
df2['Pclass']=df2.Pclass.apply(lambda x : str(x))
df3=df2.Pclass.str.get_dummies()
df3.rename(columns={'1':'Pclass1','2':'Pclass2','3':'Pclass3'},inplace=True)
df=pd.concat([df2,df3],axis=1)
df=pd.concat([df,df.Sex.str.get_dummies()],axis=1)
df.drop(columns=['Pclass','Sex'],inplace=True)
df.head()

#划分数据集，其中df1.Survived为y
x_train,x_test,y_train,y_test=train_test_split(df,df1.Survived,test_size=0.25,random_state=100)
#标准化（特征）
std=StandardScaler()
x_train=std.fit_transform(x_train)
x_test=std.transform(x_test)
#建立决策树模型
result=DecisionTreeClassifier()
result.fit(x_train,y_train)
#训练集和测试集的yhat
y_train_predict=result.predict(x_train)
y_test_predict=result.predict(x_test)

#训练集的准确率
#训练集的评估指标
result.score(x_train,y_train)
print(classification_report(y_train,y_train_predict))

#测试集准确率
#测试集的评估指标
result.score(x_test,y_test)
print(classification_report(y_test,y_test_predict))

• 决策树的变量重要性选择

result.feature_importances_
pd.DataFrame(zip(df.columns,result.feature_importances_)).sort_values(1,ascending=False)

随机森林

class sklearn.ensemble.RandomForestClassifier(n_estimators=10, criterion=’gini’,max_depth=None, bootstrap=True, random_state=None,max_features=‘auto’)

• 随机森林分类器
  n_estimators：integer，optional（default = 10） 森林里的树木数量 # (120,200,300,500,800,1200)
  criteria：string，可选（default =“gini”）分割特征的测量方法
  max_depth：integer或None，可选（默认=无）树的最大深度 # (5,8,15,25,30)
  max_features=‘auto’,每个决策树的最大特征数量
  if ‘auto’,then max_features=sqrt(n_features)
  if ‘sqrt’ then same as ‘auto’
  if ‘log2’ then max_features=log2(n_features)
  if None then max_features=n_features
  bootstrap：boolean，optional（default = True）是否在构建树时使用放回抽样

  eg：还是以泰坦尼克数据做简单演示

  直接用上面的x_train，x_test ,y_train ,y_test

# 随机森林预测（超参数调优）
rf=RandomForestClassifier()
# 网格搜索与交叉验证
parm={'n_estimators':list(range(290,310,5)) ,'max_depth':[5,6] }
gc=GridSearchCV(rf,param_grid=parm ,cv=5)
gc.fit(x_train,y_train)
print(gc.best_params_) #gc.best_estimator_

#同样查看评估指标
y_train_predict=gc.predict(x_train)
print(classification_report(y_train,y_train_predict))
y_test_predict=gc.predict(x_test)
print(classification_report(y_test,y_test_predict))
#查看准确率
gc.score(x_test,y_test)