决策树
- ID3
信息增益 最大的准则 - C4.5
信息增益比 最大的准则 - CART
回归树: 平方误差 最小
分类树: 基尼系数 最小的准则 在sklearn中可以选择划分的原则
class sklearn.tree.DecisionTreeClassifier(criterion=’gini’, max_depth=None,random_state=None)
决策树分类器
criterion:默认是’gini’系数,也可以选择信息增益的熵’entropy’
max_depth:树的深度大小
random_state:随机数种子
method:
decision_path:返回决策树的路径
优点:
简单的理解和解释,树木可视化。
需要很少的数据准备,其他技术通常需要数据归一化,
缺点:
决策树学习者可以创建不能很好地推广数据的过于复杂的树,这被称为过拟合。
决策树可能不稳定,因为数据的小变化可能会导致完全不同的树被生成
eg:泰坦尼克数据集,用决策树预测生还情况
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier,export_graphviz
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import classification_report
#导入数据集,取3个特征作为测试,对分类变量做哑变量处理
df1=pd.read_csv(r"C:\Users\admin\Desktop\python2\data\titanic.csv")
df2=df1[['Pclass','Sex', 'Age']]
df2.Age.fillna(df2.Age.mean(),inplace=True)
df2['Pclass']=df2.Pclass.apply(lambda x : str(x))
df3=df2.Pclass.str.get_dummies()
df3.rename(columns={'1':'Pclass1','2':'Pclass2','3':'Pclass3'},inplace=True)
df=pd.concat([df2,df3],axis=1)
df=pd.concat([df,df.Sex.str.get_dummies()],axis=1)
df.drop(columns=['Pclass','Sex'],inplace=True)
df.head()
#划分数据集,其中df1.Survived为y
x_train,x_test,y_train,y_test=train_test_split(df,df1.Survived,test_size=0.25,random_state=100)
#标准化(特征)
std=StandardScaler()
x_train=std.fit_transform(x_train)
x_test=std.transform(x_test)
#建立决策树模型
result=DecisionTreeClassifier()
result.fit(x_train,y_train)
#训练集和测试集的yhat
y_train_predict=result.predict(x_train)
y_test_predict=result.predict(x_test)
#训练集的准确率
#训练集的评估指标
result.score(x_train,y_train)
print(classification_report(y_train,y_train_predict))
#测试集准确率
#测试集的评估指标
result.score(x_test,y_test)
print(classification_report(y_test,y_test_predict))
- 决策树的变量重要性选择
result.feature_importances_
pd.DataFrame(zip(df.columns,result.feature_importances_)).sort_values(1,ascending=False)
随机森林
class sklearn.ensemble.RandomForestClassifier(n_estimators=10, criterion=’gini’,max_depth=None, bootstrap=True, random_state=None,max_features=‘auto’)
-
随机森林分类器
n_estimators:integer,optional(default = 10) 森林里的树木数量 # (120,200,300,500,800,1200)
criteria:string,可选(default =“gini”)分割特征的测量方法
max_depth:integer或None,可选(默认=无)树的最大深度 # (5,8,15,25,30)
max_features=‘auto’,每个决策树的最大特征数量
if ‘auto’,then max_features=sqrt(n_features)
if ‘sqrt’ then same as ‘auto’
if ‘log2’ then max_features=log2(n_features)
if None then max_features=n_features
bootstrap:boolean,optional(default = True)是否在构建树时使用放回抽样eg:还是以泰坦尼克数据做简单演示
直接用上面的x_train,x_test ,y_train ,y_test
# 随机森林预测(超参数调优)
rf=RandomForestClassifier()
# 网格搜索与交叉验证
parm={'n_estimators':list(range(290,310,5)) ,'max_depth':[5,6] }
gc=GridSearchCV(rf,param_grid=parm ,cv=5)
gc.fit(x_train,y_train)
print(gc.best_params_) #gc.best_estimator_
#同样查看评估指标
y_train_predict=gc.predict(x_train)
print(classification_report(y_train,y_train_predict))
y_test_predict=gc.predict(x_test)
print(classification_report(y_test,y_test_predict))
#查看准确率
gc.score(x_test,y_test)