泰坦尼克号幸存者预测（分类）

---

前言

决策树学习完之后的练习，下面是学习链接
决策树概论，在下面有决策树相关学习的链接

---

步骤

1. 导入库

import pandas as pd
from sklearn.tree import DecisionTreeClassifier #分类树
from sklearn.model_selection import train_test_split #划分测试集和训练集
from sklearn.model_selection import GridSearchCV #做网格搜索来调整参数
from sklearn.model_selection import cross_val_score #做交叉验证
import numpy as np
import matplotlib.pyplot as plt

2. 使用pandas来读取csv文件

data = pd.read_csv('data.csv')

3. 对csv文件的信息进行探索

数据的基本信息

data.info()

数据的前五行信息来查看大概的样子

data.head()

4. 数据的预处理

4.1 将对训练模型无关的特征进行删除

由上面的例图可以观察出 Name, Ticket, Cabin对于训练模型基本无效，所以对不必要的特征进行删除

data.drop(['Name','Ticket','Cabin'],inplace=True,axis=1)
'''
axis=1 : 表示删除这一列
inplace=True : 表示覆盖原来的data
'''
data.head()
data.info()

4.2 将所有非数字类型的特征转为数字类型的特征

注意：模型只能处理数字类型的数据

对Sex进行类型的转便（性别只有男和女，所以是二分类，对于二分类，有一个简单的方法）

data.loc[:,'Sex'] = (data.loc[:,'Sex'] == 'male').astype('int')
'''
loc[:,'Sex']: 代表取出data里面所有行，Sex列
(data.loc[:,'Sex'] == 'male')判断是否为True，返回的是bool类型，将bool类型转为int型，这时True为1，False为0
'''

对Embarked进行类型转变

label = data.loc[:,'Embarked'].unique().tolist()
#将原本的Embarked类型转为label所获得的数组下表（int）
data.loc[:,'Embarked'] = data.loc[:,'Embarked'].apply(lambda x: label.index(x))
>label: ['S', 'C', 'Q']
'''
unique: 将Embaeked中的所有数据拿出来，重复的合并
tolist: 将得到的数组转为列表类型
apply： 使用括号内的函数

'''

4.3 统一数据的数量

对于Age，使用填充fillna，将没有年龄的用平均年龄来填写

data.loc[:,'Age'] = data.loc[:,'Age'].fillna(data.loc[:,'Age'].mean())

对于Embarked 只缺少两个值，对全部特征删除这两行即可，对整体没有太大的影响

data = data.dropna(axis=0)
'''
dropna: 过滤缺失数据
data.dropna(how = 'all')    # 传入这个参数后将只丢弃全为缺失值的那些行
data.dropna(axis = 1)       # 丢弃有缺失值的列（一般不会这么做，这样会删掉一个特征）
data.dropna(axis=1,how="all")   # 丢弃全为缺失值的那些列
data.dropna(axis=0,subset = ["Age", "Sex"])   # 丢弃‘Age’和‘Sex’这两列中有缺失值的行  
'''

5. 对数据集进行拆分，将数据特征和标签进行分离（survived结果和其余的数据进行分离）

x = data.loc[:,data.columns != 'Survived']
y = data.loc[:,data.columns == 'Survived']

6. 对数据集进行训练集和测试集的划分

Xtrain, Xtest, Ytrain, Ytest = train_test_split(x,y,test_size=0.3)

7. 对划分的测试集和训练集进行序号的重新编排（养成习惯）

for i in [Xtrain, Xtest, Ytrain, Ytest]:
    i.index = range(i.shape[0])

8. 对模型进行训练

对模型的训练就是多多尝试，找出最优的

正常的对模型进行直接的训练

clf = DecisionTreeClassifier(random_state=20)
clf = clf.fit(Xtrain,Ytrain)
score_ = clf.score(Xtest,Ytest)

采用交叉验证来训练

score = cross_val_score(clf,x,y,cv=10).mean()

对于交叉验证来进行绘图来看不同深度的score值

tr = []
te = []
for i in range(10):
    clf = DecisionTreeClassifier(random_state=20
                                ,max_depth = i+1
                                ,criterion = 'entropy'
                                )
    clf = clf.fit(Xtrain,Ytrain)
    score_tr = clf.score(Xtrain,Ytrain)
    score_te = cross_val_score(clf,x,y,cv=10).mean()
    tr.append(score_tr)
    te.append(score_te)

plt.figure()
plt.plot(range(1,11),tr,color='red',label='train')
plt.plot(range(1,11),te,color='blue',label='test')
plt.xticks(range(1,11))
plt.legend()
plt.show()

9. 通过网格搜索来调整最优参数

对于paramters内的参数，根据需求进行组合，如果多了电脑会载不动，最好两两组合来看

paramters = {'splitter': ('best','random')
            ,'criterion': ('gini','entropy')
            ,'max_depth': [*range(1,10)] #一个1-10的列表[*range()]
            ,'min_samples_leaf': [*range(1,50,5)]
            ,'min_impurity_decrease': [*np.linspace(0,0.5,20)]
    
}

clf = DecisionTreeClassifier(random_state=20)
GS = GridSearchCV(clf,paramters,cv=10) #网格搜索集成了交叉验证等所有的步骤
GS.fit(Xtrain,Ytrain)

最优参数

GS.best_params_

在当前最优参数下的评估值

GS.best_score_

---

注意

对于上述的网格搜索所得到的参数最优，是在必须含有上述所添加的参数的内容里面的最优值，也就是说网格搜索没有
办法来对所加入搜索的参数的删除，有可能在删除某些参数之后，评估值就会变高，所以需要我们自己不断地调试，不
断的测试来找到最优的评估值

对于决策树的学习可以看下面的链接：
决策树概论，在下面有决策树相关学习的链接