Kaggle入门数据集Titanic代码记录

本文大部分文字翻译自Kaggle的“Titanic Data Science Solutions”，以及大部分代码也搬运自此。初入Kaggle坑，拿到Titanic数据集时可以说是毫无头绪，“数据集中的冗余特征怎么通过代码去除？”“缺失值怎么补足？”“特征工程需要做哪些工作？”这些问题让我不知从何下口。记录的初衷在于作为机器学习小白的自己，试图通过这种方法理清思路，加深印象，若能帮到路过的同学，那更是喜不自胜了。

1.导入库

import numpy as np
import pandas as pd
import random as rnd
import seaborn as sns
import matplotlib.pyplot as plt
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC, LinearSVC
from sklearn.ensemble import RandomForestClassifier
from sklearn.neighbors import KNeighborsClassifier
from sklearn.naive_bayes import GaussianNB
from sklearn.linear_model import Perceptron
from sklearn.linear_model import SGDClassifier
from sklearn.tree import DecisionTreeClassifier

2.数据探索

（1）数据概览

下载数据

[Titanic数据集下载地址]（https://www.kaggle.com/c/titanic/data）

探索数据

下载页面中共有三个文件，分别是train.csv，test.csv，gender_submission.csv。train是编码为1-891共891名乘客的训练数据，test和gender_submission分别为测试数据和需要提交结果的格式以及正确答案。
首先在存放数据集的目录下的空白处按住shift键并单击右键，打开cmd。输入python或者ipython，进入python环境。

（2）基于数据的假设

根据目前为止的数据分析，我们得出如下假设。我们需要进一步验证这些假设，才能进行下一步分析。

•相关性

我们希望知道每个特征与Survived的相关性。我们也希望在project前期做这些工作，而且在之后的建模中匹配这些相关性。

•填充

1.填充与Survived明确相关的Age特征。
2.Embarked可能与Survived相关，也可能与其他重要的属性相关，也要填充
1.分析中可能不用Ticket特征，因为该特征包含大量的（22%）重复数据，而且Ticket可能与Survived无关。
2.Cabin特征也不用，因为它的完成度较低，training和test数据集中都中含有大量null数据。
3.PassengerId因为对Survived没有任何贡献，所以也是无关特征。
4.Name特征的格式相对不够规范，可能对Survived也没有直接贡献，去掉。

•创造特征

1.可以通过Parch和 SibSp特征的加和得出船上的家庭成员总数，从而创造Family特征。
2.从Name特征提取缩写得到Title特征。
3.Age分支由连续的数字特征转换为离散的分类特征。
4.也可以创造一个Fare的区间特征用来辅助分析。

•分类

我们也可从问题描述中描述的问题来提出假设。
1.女性更有可能活下来
2.孩子更有可能活下来。
3.头等舱（Pclass=1）的人更有可能活下来。

（3）分析数据

为了确认我们的观察和假设是正确的，我们可以分析特征的相关性。我们仅在现阶段特征中没有空值的时候这样做，也只是在特征值为分类（Sex）,序列（Pclass）或者离散（SibSp，Parch）的时候才有意义。
•Pclass
可以看出Survived和Pclass在Pclass=1的时候有较强的相关性（>0.5），所以最终模型中包含该特征。

data[['Pclass','Survived']].groupby(['Pclass'],as_index=False).mean().sort_values(by='Survived', ascending=False)

结果如下：

Index	Pclass	Survived
0	1	0.629630
1	2	0.472826
2	3	0.242363

•Sex
可以确定在问题定义中的观察——女性有更高的活下来的概率（74%）——是正确的

data[['Sex','Survived']].groupby(['Sex'],as_index=False).mean().sort_values(by='Survived', ascending=False)

结果如下：

Index	Sex	Survived
0	female	0.742038
1	male	0.188908

•SibSp and Parch
这些特征与特定的值没有相关性，最好是由这些独立的特征派生出一个新特征或者一组新特征。
SibSp

data[['SibSp', 'Survived']].groupby(['SibSp'], as_index=False).mean().sort_values(by='Survived', ascending=False)

结果如下：

Index	SibSp	Survived
1	1	0.535885
2	2	0.464286
0	0	0.345395
3	3	0.250000
4	4	0.166667
5	5	0.000000
6	8	0.000000

Parch

data[['Parch', 'Survived']].groupby(['Parch'], as_index=False).mean().sort_values(by='Survived', ascending=False)

结果如下：

Index	Parch	Survived
3	3	0.600000
1	1	0.550847
2	2	0.500000
0	0	0.343658
5	5	0.200000
4	4	0.000000
6	6	0.000000

（3）通过可视化分析数据

现在我们可以用可视化数据分析的方式进一步确定我们的假设

关联数值特征

直方图在分析类似于Age特征的连续数值变量时有助于模式识别。直方图可以直观的看出样本的分布特点。
注意直方图的X轴代表样本计数或者乘客数量。

观察

•婴儿（Age≤4）存活率更高
•最老的乘客（Age=80）活下来了
•很大一部分15-25岁的人没活下来
•幸存者多数在15-35岁

决定

这个简要的分析确定了我们的假设就是下一步的工作。
•在训练模型时应该考虑年龄
•Age特征中没有值的需要填充
•年龄需要分组

g = sns.FacetGrid(data, col='Survived')
g.map(plt.hist, 'Age', bins=20)
plt.show()

关联数值和序列特征

我们用一个简单的绘图识别了多项特征的相关性，这种手段可以用于样本值为数字的特征。

观察

•Pclass=3的乘客数量最多，但是幸存率最低。证实了我们以上‘分类’中的假设2
•婴儿乘客在Pclass=2和Pclass=3中最有可能幸存，进一步证实了‘分类’中的假设2
•大部分Pclass=1中的乘客幸存下来，证实了‘分类’中的假设3
•Pclass改变了乘客关于Age的分布

决定

•在训练模型时考虑Pclass

grid = sns.FacetGrid(data, col='Survived', row='Pclass', size=2.2, aspect=1.6)
grid.map(plt.hist, 'Age', alpha=0.5, bins=20)
grid.add_legend()
plt.show()

关联分类特征

现在我们可以把要解决的目标与分类特征关联起来了。

观察

•女性乘客的存活率优于男性
•Embarked=C里面的男性幸存率高于女性是个例外，不必要建立Embarked与Survived之间的联系
•从C和Q港口来的男性在Pclass=3中的幸存率高于Pclass=2
•Pclass=3中的不同港口登船的存活率规律与整体男性乘客的存活率规律不同

决定

•把Sex特征考虑到模型中
•把Embarked特征完善，并添加到训练模型中

grid = sns.FacetGrid(data, row='Embarked', size=2.2, aspect=1.6)
grid.map(sns.pointplot, 'Pclass', 'Survived', 'Sex', palette='deep')
grid.add_legend()
plt.show()

关联分类和数值特征

我们希望关联分类特征（没有数字值）和数值特征。我们可以考虑关联Embarked（分类，无数值），Sex（分类，无数值），Fare（连续数值），以及Survived（分类，数值）

观察

•票价高的乘客更有可能获救
•登船的港口与幸存率有关

决定

•考虑加入票价因素

grid = sns.FacetGrid(data, row='Embarked', col='Survived', size=2.2, aspect=1.6)
grid.map(sns.barplot, 'Sex', 'Fare', alpha=.5, ci=None)
grid.add_legend()

未完待续