文章目录
前言
决策树学习完之后的练习,下面是学习链接
决策树概论,在下面有决策树相关学习的链接
步骤
1. 导入库
import pandas as pd
from sklearn.tree import DecisionTreeClassifier #分类树
from sklearn.model_selection import train_test_split #划分测试集和训练集
from sklearn.model_selection import GridSearchCV #做网格搜索来调整参数
from sklearn.model_selection import cross_val_score #做交叉验证
import numpy as np
import matplotlib.pyplot as plt
2. 使用pandas来读取csv文件
data = pd.read_csv('data.csv')
3. 对csv文件的信息进行探索
数据的基本信息
data.info()
数据的前五行信息来查看大概的样子
data.head()
4. 数据的预处理
4.1 将对训练模型无关的特征进行删除
由上面的例图可以观察出 Name, Ticket, Cabin对于训练模型基本无效,所以对不必要的特征进行删除
data.drop(['Name','Ticket','Cabin'],inplace=True,axis=1)
'''
axis=1 : 表示删除这一列
inplace=True : 表示覆盖原来的data
'''
data.head()
data.info()
4.2 将所有非数字类型的特征转为数字类型的特征
注意:模型只能处理数字类型的数据
对Sex进行类型的转便(性别只有男和女,所以是二分类,对于二分类,有一个简单的方法)
data.loc[:,'Sex'] = (data.loc[:,'Sex'] == 'male').astype('int')
'''
loc[:,'Sex']: 代表取出data里面所有行,Sex列
(data.loc[:,'Sex'] == 'male')判断是否为True,返回的是bool类型,将bool类型转为int型,这时True为1,False为0
'''
对Embarked进行类型转变
label = data.loc[:,'Embarked'].unique().tolist()
#将原本的Embarked类型转为label所获得的数组下表(int)
data.loc[:,'Embarked'] = data.loc[:,'Embarked'].apply(lambda x: label.index(x))
>label: ['S', 'C', 'Q']
'''
unique: 将Embaeked中的所有数据拿出来,重复的合并
tolist: 将得到的数组转为列表类型
apply: 使用括号内的函数
'''
4.3 统一数据的数量
对于Age,使用填充fillna,将没有年龄的用平均年龄来填写
data.loc[:,'Age'] = data.loc[:,'Age'].fillna(data.loc[:,'Age'].mean())
对于Embarked 只缺少两个值,对全部特征删除这两行即可,对整体没有太大的影响
data = data.dropna(axis=0)
'''
dropna: 过滤缺失数据
data.dropna(how = 'all') # 传入这个参数后将只丢弃全为缺失值的那些行
data.dropna(axis = 1) # 丢弃有缺失值的列(一般不会这么做,这样会删掉一个特征)
data.dropna(axis=1,how="all") # 丢弃全为缺失值的那些列
data.dropna(axis=0,subset = ["Age", "Sex"]) # 丢弃‘Age’和‘Sex’这两列中有缺失值的行
'''
5. 对数据集进行拆分,将数据特征和标签进行分离(survived结果和其余的数据进行分离)
x = data.loc[:,data.columns != 'Survived']
y = data.loc[:,data.columns == 'Survived']
6. 对数据集进行训练集和测试集的划分
Xtrain, Xtest, Ytrain, Ytest = train_test_split(x,y,test_size=0.3)
7. 对划分的测试集和训练集进行序号的重新编排(养成习惯)
for i in [Xtrain, Xtest, Ytrain, Ytest]:
i.index = range(i.shape[0])
8. 对模型进行训练
对模型的训练就是多多尝试,找出最优的
正常的对模型进行直接的训练
clf = DecisionTreeClassifier(random_state=20)
clf = clf.fit(Xtrain,Ytrain)
score_ = clf.score(Xtest,Ytest)
采用交叉验证来训练
score = cross_val_score(clf,x,y,cv=10).mean()
对于交叉验证来进行绘图来看不同深度的score值
tr = []
te = []
for i in range(10):
clf = DecisionTreeClassifier(random_state=20
,max_depth = i+1
,criterion = 'entropy'
)
clf = clf.fit(Xtrain,Ytrain)
score_tr = clf.score(Xtrain,Ytrain)
score_te = cross_val_score(clf,x,y,cv=10).mean()
tr.append(score_tr)
te.append(score_te)
plt.figure()
plt.plot(range(1,11),tr,color='red',label='train')
plt.plot(range(1,11),te,color='blue',label='test')
plt.xticks(range(1,11))
plt.legend()
plt.show()
9. 通过网格搜索来调整最优参数
对于paramters内的参数,根据需求进行组合,如果多了电脑会载不动,最好两两组合来看
paramters = {'splitter': ('best','random')
,'criterion': ('gini','entropy')
,'max_depth': [*range(1,10)] #一个1-10的列表[*range()]
,'min_samples_leaf': [*range(1,50,5)]
,'min_impurity_decrease': [*np.linspace(0,0.5,20)]
}
clf = DecisionTreeClassifier(random_state=20)
GS = GridSearchCV(clf,paramters,cv=10) #网格搜索集成了交叉验证等所有的步骤
GS.fit(Xtrain,Ytrain)
最优参数
GS.best_params_
在当前最优参数下的评估值
GS.best_score_
注意
对于上述的网格搜索所得到的参数最优,是在必须含有上述所添加的参数的内容里面的最优值,也就是说网格搜索没有
办法来对所加入搜索的参数的删除,有可能在删除某些参数之后,评估值就会变高,所以需要我们自己不断地调试,不
断的测试来找到最优的评估值
对于决策树的学习可以看下面的链接:
决策树概论,在下面有决策树相关学习的链接