本次分享的项目来自 Kaggle 的经典赛题:泰坦尼克号生还者预测。分为数据分析和数据挖掘两部分介绍。本篇为数据分析篇。
赛题解读
比赛概述
RMS 泰坦尼克号的沉没是历史上最为人熟知的海难事件之一。 1912 年 4 月 15 日,在她的处女航中,泰坦尼克号在与冰山相撞后沉没,在船上的 2224 名乘客和机组人员中,共造成 1502 人死亡。这场耸人听闻的悲剧震惊了国际社会,从而促进了船舶安全规定的完善。
造成海难失事的原因之一是乘客和机组人员没有足够的救生艇。尽管在沉船事件中幸存下有一些运气因素,但有些人比其他人更容易存活下来,比如女人,孩子和上流社会。
在这个挑战中,要求完成哪些人可能存活下来的分析。特别的,要求运用机器学习工具来预测哪些乘客能够幸免于悲剧。
所需技巧
Python 和 R 的基础 (Python and R basics)
最终目标
预测一名乘客是否能够在泰坦尼克号沉没事件中幸存。
对测试集中的每一个PassengerId,将其相应的Survived变量预测为值 0 或 1(这里 1 表示幸存,0 表示遇难)。
数据分析
数据描述
首先,导入数据:
data_train = pd.read_csv('train.csv')
data_test = pd.read_csv('test.csv')
数据需要进行转换能够作为模型输入。我们对训练集data_train进行变换,同样需要对测试集data_test进行变换,保证模型输入的一致性。
合并在一起可以进行统一变换,变换后再拆分。也可使用之前没有经过变换的data_train。对数据集进行如下处理:
# 将目标变量 Survived 单独提取,从特征变量中移除目标变量 Survived
df_target = data_train['Survived']
data_train_feature = data_train.drop(['Survived'], axis=1)
# 合并 train 和 test 数据集,以方便数据处理对两个数据集同时进行
df = data_train_feature.append(data_test)
合并后的数据集如下图所示:
我们看到,共有 11 个特征:
PassengerId: 乘客 ID
Pclass: 舱位等级 (1 = 1st, 2 = 2nd, 3 = 3rd)
Name: 乘客姓名
Sex: 性别
Age: 年龄
SibSp: 在船上的兄弟姐妹/配偶个数
Parch: 在船上的父母/小孩个数
Ticket: 船票信息
Fare: 票价
Cabin: 客舱
Embarked: 登船港口 (C = Cherbourg, Q = Queenstown, S = Southampton)
以上就是对比赛和数据意义的解读,下面我们对数据进行探索,来达到最终目标。
数据预处理
特征分析
我们已经在上一步查看了有哪些特征,接下来要做的是:
查看哪些特征存在缺失值。
判断哪些特征存在异常值,通过对数值型特征进行简单的描述性统计。
判断这些特征的数据类型,从而为后面的可视化分析找到合适的方法。
对数据进行可视化分析。
分析得出有用的结论。
1. 查看哪些特征存在缺失值
查看 train 和 test 合并后的数据:
df.info()
查看