机器学习实战_Kaggle泰坦尼克号(1探索及特征工程)

Titanic 作为经典的入门二分类Kaggle比赛，最近抽时间对这个比赛重新再做了一遍数量。

一、 数据探索

思维导图

0- 总体情况 & 字段特征意义

print("train {}行 {}列".format(train.shape[0], train.shape[1]))
print("test {}行 {}列".format(test.shape[0], test.shape[1]))
df_all.info()
"""
PassengerId  乘客ID 唯一编码
Survived     是否生存 1/0 是 否
Pclass       乘客等级 1/2/3  upper class/ middle class / lower class
Name         乘客名字
Sex          性别   male/female
Age          年龄
SibSp        乘客的兄弟姐妹和配偶的总数
Parch        乘客父母和孩子的总数 
Ticket       乘客的票证号码
Fare         乘客票价
Cabin        乘客的机舱号
Embarked     登船的港口

### 可生成家庭大小
SibSp        乘客的兄弟姐妹和配偶的总数
Parch        乘客父母和孩子的总数 

### 和客户等级相关的因素
Pclass  Ticket  Fare   Cabin  Embarked
"""

1- 缺失

print('训练集缺失 {}行， {}列\n'.format(train.isna().any(axis=1).sum(), train.isna().any(axis=0).sum()),
      '测试集缺失 {}行， {}列\n'.format(test.isna().any(axis=1).sum(),test.isna().any(axis=0).sum()))
print("训练集：\n",train.isna().sum(),'\n=============\n', "\n测试集：\n",test.isna().sum())

"""
训练集缺失 708行， 3列
 测试集缺失 331行， 3列

训练集：
 PassengerId      0
Survived         0
Pclass           0
Name             0
Sex              0
Age            177
SibSp            0
Parch            0
Ticket           0
Fare             0
Cabin          687
Embarked         2
dtype: int64
=============

测试集：
 PassengerId      0
Pclass           0
Name             0
Sex              0
Age             86
SibSp            0
Parch            0
Ticket           0
Fare             1
Cabin          327
Embarked         0
"""
# 图像查看
msno.bar(train, figsize=(8, 6), fontsize=12, color = 'steelblue')
plt.title('train data set')
msno.bar(test, figsize=(8, 6), fontsize=12, color = 'steelblue')
plt.title('test data set')
plt.show()

• 1_1 缺失处理

### 2.3.1 Age  
"""
根据字段与Age的相关性做，细分中位数填充
"""
age_corr = df_all.corr(method = 'spearman').loc[:, 'Age'].sort_values(kind="quicksort", ascending=False)
plt.subplot(211)
age_corr.plot(kind = 'bar', title = 'Age Corr', rot = 25
                                , label = True)
for x, y, tex in zip(range(len(age_corr.index)), age_corr,age_corr):
        t = plt.text(x - 0.01, y - 0.05 if y < 0  else  y + 0.05, round(tex, 3)
                     ,ha = 'center', va = 'center'
                     , fontdict = {'color' : 'red' if y < 0 else 'green', 'size': 10})
# plt.show()
"""
Pclass -0.396相关性最高 以这个为分类 + 性别 进行细分 填
"""
plt.subplot(212)
age_median = df_all.groupby(by = ['Sex', 'Pclass']).agg('median').Age.sort_values(kind="quicksort", ascending=False)
age_median.plot(kind = 'bar', rot = 25, title = 'median of Sex ')
for x, y, tex in zip(range(len(age_median.index)), age_median,age_median):
        t = plt.text(x - 0.01, y + 1, round(tex, 2)
                     ,ha = 'center', va = 'center')
plt.show()
#### 2.3.1.2 Age 填补缺失 (goupy fillna)
df_all['Age']  = df_all.groupby(by = ['Sex', 'Pclass']).Age.apply(lambda x: x.fillna(x.median()))

### 2.3.2 Fare & Embarked
### == Embarked ==
sns.countplot(x='Embarked', hue= 'Sex', data = df_all, alpha = 0.8)
plt.title('Embarked Count plot')
plt.show()
"""
Embarked       缺失两个 
不论在male还是female中 S 均占比最高 所以用 S 填补
"""
df_all['Embarked'].fillna('S', inplace = True)

### == Fare ==
# Fare        缺失一个
df_all.loc[df_all.Fare.isna(), :]  # 3701
"""
方法一：细类中位数
Fare_fill = df_all.groupby(['Pclass', 'Parch', 'SibSp', 'Sex']).Fare.median()[3][0][0]['male']
df_all['Fare'].fillna(Fare_fill, inplace=True)

方法二：联票的可能
>>> df_all.loc[df_all.Ticket.apply(lambda x:x[:4]) == '3701', ['Ticket', 'Fare']].Fare.value_counts()
20.2125    3
Name: Fare, dtype: int64
>>> df_all.loc[df_all.Ticket.apply(lambda x:x[:4]) == '3701', :]
       Age Cabin Embarked     Fare   ...       Sex  SibSp  Survived  Ticket
254   41.0   NaN        S  20.2125   ...    female      0       0.0  370129
424   18.0   NaN        S  20.2125   ...      male      1       0.0  370129
1043  60.5   NaN        S      NaN   ...      male      0       NaN    3701
1175   2.0   NaN        S  20.2125   ...    female      1       NaN  370129
""" 
# 很有可能 Ticket 记录错误 查看数据 为2岁的婴儿 应该是一家人 
df_all.loc[df_all.Ticket.apply(lambda x:x[:4]) == '3701', ['Ticket', 'Fare']].Fare.value_counts()
df_all.loc[df_all.Ticket.apply(lambda x:x[:4]) == '3701', :]

## 修正
df_all.loc[df_all.Fare.isna(), 'Ticket'] = '370129'
df_all.loc[df_all.Fare.isna(), 'Fare'] = 20.2125

2- 分布

## --------------------   查看因变量 --------------------
Sur_dt = df_all.Survived.value_counts()
not_survived_per = Sur_dt[0] / sum(Sur_dt)* 100
survived_per = Sur_dt[1] / sum(Sur_dt)* 100

Sur_dt.plot(kind='bar', label=True, title = 'Survived')
for x, y, tex in zip(Sur_dt.index , Sur_dt, Sur_dt):
        t = plt.text(x - 0.01, y + 1, round(tex, 2)
                     ,ha = 'center', va = 'center')
plt.xticks((0,1), ['not_survived({:.2f}%)'.format(not_survived_per), 'survived({:.2f}%)'.format(survived_per)]
            ,rotation = 0)
plt.show()

年龄在15以下的人群的存活率更高，在25-30之间存活率低， 可能原因是带孩子的家庭买的票价都较贵，所在的位置比较好逃生，
可以将 年龄的分段倒序 和 等级 相结合 用除法
年龄越小父母保护的越多 再加上 等级的因素 比如 3岁 1等级的 属于 10 / 1 = 10 该值越高理论生存概率越高
60岁 3等级 属于 1 / 3
票价高的人的生存率高
画图函数参考： advanced-feature-engineering-tutorial-with-titanic.

对分类变量进行遍历，用百分比堆积图

## 2- swarmplot 看票价 乘客等级与生还率
sns.swarmplot(x="Survived", y="Fare", hue="Pclass",data=df_all[ ~df_all.Survived.isna()])
plt.show()

# Age & Sex 
sns.swarmplot(x="Survived", y="Age", hue="Sex",data=df_all)
plt.show()
## 女性生还率较高

二、特征工程