泰坦尼克号代码分析

一、引进相关的库和模块

import numpy as np
import pandas as pd 
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction import DictVectorizer

分别引入Pandas、Numpy、sklearn中用于训练集与测试集划分的train_test_split和用于字典型数据向量化的DictVectorizer。

二、获取文件中的数据

train = pd.read_csv('train.csv')
test = pd.read_csv('test.csv')
train.head()
test.head()
g_sub = pd.read_csv('gender_submission.csv')
g_sub.info()
g_sub.head()

训练集前5行

测试集前5行

gender_submission是最终提交形式，只包含两列：人员编号、是否存活。

g_sub = pd.read_csv('gender_submission.csv')
g_sub.info()
g_sub.head()

g_sub.info()查看g_sub的信息

g_sub.head()查看g_sub的前5行

三、数据预处理

union = train.append(test, ignore_index=True)
union.info()
union.describe()

union = train.append(test, ignore_index=True)
此行代码将训练集数据整合成一个DataFrame

输出union.info()

输出union.describe()

随后对Age，Fare中的缺失值进行补足

对Age中的缺失值用Age的中位数来替换，Fare中的缺失值用Fare的平均数来替换

union['Age'].fillna(union['Age'].median(), inplace=True)
union['Fare'].fillna(union['Fare'].mean(), inplace=True)

三、特征降维

经过分析，Name，Cabin这两个数据属于对结果预测不重要的数据，为了节约内存和加快运行效率，可以对特征进行降维处理，在数据集中用drop方法删除Name和Cabin这两个数据。

union = union.drop(['Name', 'Cabin'], axis=1)

对数据集中的Embarked进行计数

union['Embarked'].value_counts()

输出结果

对Embarked数据中的缺失值用S来替换

union['Embarked'].fillna('S', inplace=True)

查看此时union的详细信息

union.info()

输出union的信息

查看union的前5行

union.head()

输出union的前5行

多说一句，特征降维这一部分中对于Embarked的处理实际上应该属于上一个部分（即数据预处理），但源码的顺序就是这样所以不太好处理…

四、数据集划分

将890行前的数据划为训练集，890行之后的数据集划为测试集

train = union.loc[0:890]
test = union.loc[891:]

x_train存放训练集的特征数据（去掉Survived,Ticket这两个数据），x_test存放测试集的特征数据（同样去掉Survived,Ticket这两个数据)，y_train存放训练集的预测结果（仅保留Survived数据），y_test存放测试集的预测结果（同样仅保留Survived数据）

x_train = train.drop(['Survived','Ticket'], axis=1)
x_test = test.drop(['Survived','Ticket'], axis=1)
y_train = train['Survived']
y_test = test['Survived']

先将DictVectorizer这个转化器实例化
随后将x_train中的数据进行拟合再标准化
再将y_train中的数据进行标准化
最后查看特征值的名称

dict = DictVectorizer(sparse=False)
X_train = dict.fit_transform(x_train.to_dict(orient='record'))
X_test = dict.transform(x_test.to_dict(orient='record'))
dict.get_feature_names()

此处将x_train及x_test转化为dict格式之后进行标准化
输出特征值的名称

查看标准化后的X_train

X_train

输出X_train

五、模型建立

导入决策树预估器并将其实例化
fit方法用于从训练集中学习模型参数

from sklearn.tree import DecisionTreeClassifier
dec = DecisionTreeClassifier(max_depth=5)
dec.fit(X_train, y_train)

六、模型评估

y_predict = dec.predict(X_test).astype(np.int64)
y_predict

查看测试集的预测结果y_predict

七、数据整理

id = test['PassengerId']
sub = {'PassengerId': id, 'Survived': y_predict}
submission = pd.DataFrame(sub)
submission.to_csv("sub.csv", index=False)

将乘客信息PassengerID和预测结果y_predict放入名为sub的字典中，再将sub转化为Dataframe，最后将结果输出到名为sub的csv文件中，index=False参数让系统输出时不输出索引值。

本次的源码分析就到这里啦，作为刚刚入门机器学习的小白，望大家多多指教，若文章中出现错误烦请帮忙指正。