泰坦尼克号代码分析

泰坦尼克号代码分析

流程分析：

第一步：引入sklearn、numpy及pandas中的相关库与模块。

import pandas as pd
import numpy as np
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction import DictVectorizer

第二步：获取数据、读取其中前五行数据并查看目标值信息、读取前五行数据。

train = pd.read_csv('train.csv')
test = pd.read_csv('test.csv')
train.head()
test.head()
g_sub = pd.read_csv('gender_submission.csv')
g_sub.info()
g_sub.head()

output：

训练集的前五行：

测试集的前五行：

目标值信息：

目标值前五行：

第三步：分析各数据对目标值（是否存活）的影响。（手动特征降维）

PassengerId（乘客号码）：用于代表每一个乘客。
Pclass（乘客的阶级）：应该优先救助阶级高的人，对是否存活影响大，可保留。
Name（乘客姓名）：对乘客是否存活几乎无影响，可删除。
Sex（乘客性别）：应该优先救助妇女，对是否存活影响大，可保留。
Age（乘客年龄）：应该优先救助老人幼童，对是否存活影响大，可保留。
SibSp（兄弟姐妹）：可能会因为让兄弟姐妹上救生船而让自己陷入困境，可保留。
Parch（父母孩子）：可能会因为让父母或者孩子上救生船而让自己陷入困境，可保留。
Ticket（购票的号码）：对乘客是否存活几乎无影响，可删除。
Fare（购票的费用）：购票费用高可能代表着阶级高，与乘客的阶级高度线性相关，可在购票费用和乘客的阶级中选取一个保留。
Cabin（船舱号）：对乘客是否存活几乎无影响，可删除。
Embarked（目的地）：登录地点可以一定程度显示人的地位，保留这一列。

故可保留特征为：

1）Pclass
2）PassengerId
3）Sex
4）Age
5）SibSp
6）Parch
7）Fare

第四步：可用数据的预处理。

①将训练集和测试集整合到一起：

    union = train.append(test, ignore_index=True)
    print(union.info())

output：

②生成描述性统计，总结数据集分布的中心趋势，分散和形状，不包括NaN值。（可放到删除不需要的数据之后）

union.describe()

output：

③删去名字、舱号、票号等不重要的数据，已知年龄数据、费用数据和登陆地点有缺失值，补足缺失值后查看补足后的整合集的信息。

union = union.drop(['Name','Cabin'，'Ticket'],axis=1)   #按列删除
union['Age'].fillna(union['Age'].median(), inplace=True)#用中值补足数据
union['Fare'].fillna(union['Fare'].mean(), inplace=True)#用平均值补足数据
union['Embarked'].value_counts()           #统计Embarked中出现最多的字母
union['Embarked'].fillna('S', inplace=True)#用出现最多的字母补足数据
union.info()

output：

第五步：数据集划分。

    train = union.loc[0:890]   #前890名乘客的数据作为训练集
    test = union.loc[891:]     
    x_train = train.drop(['Survived'],axis=1)
    x_test = test.drop(['Survived'],axis=1)
    y_train = train['Survived']) 
    y_test = test['Survived']

第六步：特征工程

字典型特征提取：

    #实例化一个转换器类
    transfer = DictVectorizer(sparse=False) #不返回稀疏矩阵
    #调用fit_transform()函数
    x_train = transfer.fit_transform(x_train.to_dict(orient='record'))
    x_test = transfer.transform(x_test.to_dict(orient='record'))
    x_train.get_feature_names()
    print(x_train)

output：

第七步：建立模型（决策树预估器）。

    #实例化一个预估器类
    estimator = DecisionTreeClassifier(max_depth = 5)
    #调用fit()函数
    estimator.fit(x_train,y_train)

第八步：模型评估。

    #模型评估
    y_predict = estimator.predict(x_test)
    print(y_predict)

output：

将乘客号码和预测的生存情况制成表格：

    id = test['PassengerId']
    sub = {'PassengerId': id, 'Survived': y_predict}
    submission = pd.DataFrame(sub)
    submission.to_csv("sub.csv", index=False)
    print(submission.head(20))

output：