Kaggle泰坦尼克生存预测之随机森林学习

这篇文章讲述的是Kaggle上一个赛题的解决方案——Titanic幸存预测.问题背景是我们大家都熟悉的【Jack and Rose】的故事，豪华游艇与冰山相撞，大家惊慌而逃，可是救生艇的数量有限，无法人人都有。赛题官方提供训练数据和测试数据两份数据，训练数据主要是一些乘客的个人信息以及存活状况，测试数据也是乘客的个人信息但是没有存活状况的显示。所以本文的主要目的就是，根据训练数据生成合适的模型并预测测试数据中乘客的生存状况。

阅读路线：

• 预览数据
• 数据初分析
• 弥补缺失值
• 建立模型并预测
• 随机森林算法的理解

预览数据

先看看我们的数据长什么样子，赛题官方给我们提供了两份数据train.csv,test.csv为了方便我们先把所需要的R库给加载了,其中一些R库大家平常没有用到的话，要记得下载。

library(readr) # File read / write
library(ggplot2) # Data visualization
library(ggthemes) # Data visualization
library(scales) # Data visualization
library(plyr)# Data manipulation
library(stringr) # String manipulation
library(InformationValue) # IV / WOE calculation
library(MLmetrics) # Mache learning metrics.e.g. Recall, Precision,Accuracy, AUC
library(rpart) # Decision tree utils
library(randomForest) # Random Forest
library(dplyr) # Data manipulation
library(e1071) # SVM
library(Amelia) # Missing value utils
library(party) # Conditional inference trees
library(gbm) # AdaBoost
library(class) # KNN.

读取数据

#通过getwd()函数查看当下工作路劲，把文件放到当下工作路径中
train <-read_csv("train.csv")
test <-read_csv("test.csv")
data<- bind_rows(train, test)  #组合
train.row<- 1:nrow(train)
test.row<- (1 + nrow(train)):(nrow(train) + nrow(test))

注意：

1. 这里是把训练数据和测试数据合并了，原因是之后的操作过程中要对数据的格式做转换，还会对分类变量增加新的level(比如：分类变量性别，我们的操作就是，原有的基础之上，增加一个字段 为男的列和一个字段为女的列)为了避免重复操作和出错，所以就干脆一起操作了。
2. bind_rows()用法：
   When row-binding, columns are matched by name, and any missing columns with be filled with NA,简单的来说就是按照列来组合两份数据，少列的自动填充为NA值(大家查资料的时候，能用谷歌就用谷歌吧，并在英文状态下搜索)

观察数据

> str(data)     
Classes ‘tbl_df’, ‘tbl’ and 'data.frame':	1309 obs. of  12 variables:
 $ PassengerId: int  1 2 3 4 5 6 7 8 9 10 ...
 $ Survived   : int  0 1 1 1 0 0 0 0 1 1 ...
 $ Pclass     : int  3 1 3 1 3 3 1 3 3 2 ...
 $ Name       : chr  "Braund, Mr. Owen Harris" "Cumings, Mrs. John Bradley (Florence Briggs Thayer)" "Heikkinen, Miss. Laina" "Futrelle, Mrs. Jacques Heath (Lily May Peel)" ...
 $ Sex        : chr  "male" "female" "female" "female" ...
 $ Age        : num  22 38 26 35 35 NA 54 2 27 14 ...
 $ SibSp      : int  1 1 0 1 0 0 0 3 0 1 ...
 $ Parch      : int  0 0 0 0 0 0 0 1 2 0 ...
 $ Ticket     : chr  "A/5 21171" "PC 17599" "STON/O2. 3101282" "113803" ...
 $ Fare       : num  7.25 71.28 7.92 53.1 8.05 ...
 $ Cabin      : chr  NA "C85" NA "C123" ...
 $ Embarked   : chr  "S" "C" "S" "S" ...
> 


> str(test)
Classes ‘tbl_df’, ‘tbl’ and 'data.frame':	418 obs. of  11 variables:
 $ PassengerId: int  892 893 894 895 896 897 898 899 900 901 ...


> str(train)
Classes ‘tbl_df’, ‘tbl’ and 'data.frame':	891 obs. of  12 variables:
 $ PassengerId: int  1 2 3 4 5 6 7 8 9 10 ...

由结果可见，数据集包含12个变量，1309条数据，其中891条为训练数据，418条为测试数据。

• PassengerId 整型变量，标识乘客的ID，递增变量，对预测无帮助
• Survived 整型变量，标识该乘客是否幸存。0表示遇难，1表示幸存。将其转换为factor变量比较方便处理
• Pclass 整型变量，标识乘客的社会-经济状态，1代表Upper，2代表Middle，3代表Lower
• Name 字符型变量，除包含姓和名以外，还包含Mr.
  Mrs. Dr.这样的具有西方文化特点的信息
• Sex 字符型变量，标识乘客性别，适合转换为factor类型变量
• Age 整型变量，标识乘客年龄，有缺失值
• SibSp 整型变量，代表兄弟姐妹及配偶的个数。其中Sib代表Sibling也即兄弟姐妹，Sp代表Spouse也即配偶
• Parch 整型变量，代表父母或子女的个数。其中Par代表Parent也即父母，Ch代表Child也即子女
• Ticket 字符型变量，代表乘客的船票号 Fare 数值型，代表乘客的船票价
• Cabin 字符型，代表乘客所在的舱位，有缺失值
• Embarked 字符型，代表乘客登船口岸，适合转换为factor型变量

数据初分析

我们这一步的主要目的看看除了PassengerId 整型变量以外，其他10个变量和乘客的幸存率之间是什么关系。让我们先看一下训练集中的乘客幸存率是如何的。

> table(train$Survived)
  0   1 
549 342 
> prop.table((table(train$Survived))) #prop.table()是计算表中值的百分比，这里就是我们的得到的列联表
      0         1 
0.6161616 0.3838384 

这里大家不要忘了数值1代表幸存，数值0代表的是遇难。所以从上面我们就能轻松看到乘客幸存率约为38%（342/891），也就是说约62%(549/891)的乘客丧命。那赛题官方给我们的测试集(test.csv)中人员的生存情况又是如何的呢？其实，这就需要我们建立数学模型来预测了，但是在之前，我们要找到数据集中的哪些变量对幸存这个事件是有影响的呢？来吧，我们接着往下看。
注意：table()函数对应统计学中列联表，用于记录频数(学习链接)

• 乘客社会等级与幸存率的影响

记得小时候看古装片，比如说一个太尉带着一帮人出去游玩，遭到了埋伏，这时就有贴身侍卫说保护太尉、带太尉先走，我来掩护。那么外国的权贵们会不会也受到同等的待遇呢？

data$Survived <- factor(data$Survived) #变成因子型变量
ggplot(data = data[1:nrow(train),], mapping = aes(x = Pclass, y = ..count.., fill=Survived)) + 
 geom_bar(stat = "count", position='dodge') + 
 xlab('Pclass') + 
 ylab('Count') + 
 ggtitle('How Pclass impact survivor') + 
 scale_fill_manual(values=c("#FF0000", "#00FF00")) +
 geom_text(stat = "count", aes(label = ..count..), position=position_dodge(width=1), , vjust=-0.5) + 
 theme(plot.title = element_text(hjust = 0.5), legend.position="bottom")

由图我们能够清晰的看出，Pclass=1的乘客大部分幸存，Pclass=2的乘客接近一半幸存，而Pclass=3的乘客只有不到25%幸存，所以可以认为乘客社会等级越高，幸存率是越高的。

其实当我们要用模型方法(逻辑回归、随机森林、决策树等)构建数学模型时，经常会剔除掉一些变量，比如有100个变量，可能会取其中的几十个。那你可能要问筛选的原则是什么呢？其实最主要和最直接的衡量标准是就是变量的预测能力，可以简单理解成这个变量能够预测一个结果发生的可信度。而衡量变量的预测能力的主要的指标是IV(Information Value)信息价值，但是在计算IV之前，要先计算出WOE，因为IV的计算是以WOE为基础的(WOE的全程为Weight Of Evidence,即是证据权重)，暂时先知道这些名词的意思吧，写主智商着急，不会证明啊。

> WOETable(X=factor(data$Pclass[1:nrow(train)]), Y=data$Survived[1:nrow(train)])
  CAT GOODS BADS TOTAL     PCT_G     PCT_B        WOE         IV
1   1   136   80   216 0.3976608 0.1457195  1.0039160 0.25292792
2   2    87   97   184 0.2543860 0.1766849  0.3644848 0.02832087
3   3   119  372   491 0.3479532 0.6775956 -0.6664827 0.21970095
> IV(X=factor(data$Pclass[1:nrow(train)]), Y=data$Survived[1:nrow(train)])
[1] 0.5009497
attr(,"howgood")
[1] "Highly Predictive"

从结果可以看出，Pclass的IV为0.5，且“Highly Predictive”。由此可以暂时将Pclass作为预测模型的特征变量之一。