机器学习——决策树与随机森林

优点：
简单的理解和解释，树可视化
需要很少的数据准备，不需要数据的归一化
缺点：
容易过拟合
改进：
剪枝cart算法（API中已经实现）
随机森林

from sklearn.model_selection import train_test_split
import pandas as pd
from sklearn.feature_extraction import DictVectorizer #字典特征抽取
from sklearn.tree import DecisionTreeClassifier,export_graphviz
titan=pd.read_csv(r"C:\Users\10991\Desktop\titanic\titanic_train.csv")
#处理数据
x=titan[['Pclass','Age','Sex']]
y=titan['Survived']
print(x)
#缺失值处理
x['Age'].fillna(x['Age'].mean(),inplace=True)
#分割数据
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.3)
#特征处理：类别—》one-hot
dic=DictVectorizer(sparse=False)
x_train=dic.fit_transform(x_train.to_dict(orient='records')) #按行转化为字典
print(dic.get_feature_names())
x_test=dic.transform(x_test.to_dict(orient='records'))
print(x_train)
#用决策树预测
dec=DecisionTreeClassifier(max_depth=5)
dec.fit(x_train,y_train)
print("预测的准确率:",dec.score(x_test,y_test))
#导出决策树的结构
export_graphviz(dec,out_file=r"C:\Users\10991\Desktop\titanic\titanic.dot",feature_names=['Age', 'Pclass', 'Sex=female', 'Sex=male'])

随机森林：（集成学习）
过程：
单个树的建立过程：
N个样本，M个特征
1、 随机在N个样本中选择一个样本，重复N次（随机有放回的抽样，bootstrap）
2、 随机在M个特征中选m个特征,m<<M
多个决策树，样本，特征大多不一样

优点：
极好的准确率
有效运行在大数据集上
能够处理具有高维特征的输入样本，不需要降维‘
能够评估各个特征在分类问题上的重要性

from sklearn.model_selection import train_test_split,GridSearchCV
import pandas as pd
from sklearn.feature_extraction import DictVectorizer #字典特征抽取
from sklearn.ensemble import RandomForestClassifier
titan=pd.read_csv(r"C:\Users\10991\Desktop\titanic\titanic_train.csv")
#处理数据
x=titan[['Pclass','Age','Sex']]
y=titan['Survived']
print(x)
#缺失值处理
x['Age'].fillna(x['Age'].mean(),inplace=True)
#分割数据
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.3)
#特征处理：类别—》one-hot
dic=DictVectorizer(sparse=False)
x_train=dic.fit_transform(x_train.to_dict(orient='records')) #按行转化为字典
print(dic.get_feature_names())
x_test=dic.transform(x_test.to_dict(orient='records'))
print(x_train)

#随机森林进行预测
rf=RandomForestClassifier()
#网格搜索与交叉验证
param={"n_estimators":[120,200,300],"max_depth":[5,8,15]}
gc=GridSearchCV(rf,param_grid=param,cv=2)
gc.fit(x_train,y_train)
print("准确率：",gc.score(x_test,y_test))
print("查看选择的参数模型:",gc.best_params_)