第二章：第一节数据清洗及特征处理-课程

【回顾&引言】前面一章的内容大家可以感觉到我们主要是对基础知识做一个梳理，让大家了解数据分析的一些操作，主要做了数据的各个角度的观察。那么在这里，我们主要是做数据分析的流程性学习，主要是包括了数据清洗以及数据的特征处理，数据重构以及数据可视化。这些内容是为数据分析最后的建模和模型评价做一个铺垫。

开始之前，导入numpy、pandas包和数据

#加载所需的库
import numpy as np
import pandas as pd

#加载数据train.csv
train_test = pd.read_csv('train.csv')
train_test.head(5)

	PassengerId	Survived	Pclass	Name	Sex	Age	SibSp	Parch	Ticket	Fare	Cabin	Embarked
0	1	0	3	Braund, Mr. Owen Harris	male	22.0	1	0	A/5 21171	7.2500	NaN	S
1	2	1	1	Cumings, Mrs. John Bradley (Florence Briggs Th...	female	38.0	1	0	PC 17599	71.2833	C85	C
2	3	1	3	Heikkinen, Miss. Laina	female	26.0	0	0	STON/O2. 3101282	7.9250	NaN	S
3	4	1	1	Futrelle, Mrs. Jacques Heath (Lily May Peel)	female	35.0	1	0	113803	53.1000	C123	S
4	5	0	3	Allen, Mr. William Henry	male	35.0	0	0	373450	8.0500	NaN	S

2 第二章：数据清洗及特征处理

我们拿到的数据通常是不干净的，所谓的不干净，就是数据中有缺失值，有一些异常点等，需要经过一定的处理才能继续做后面的分析或建模，所以拿到数据的第一步是进行数据清洗，本章我们将学习缺失值、重复值、字符串和数据转换等操作，将数据清洗成可以分析或建模的亚子。

2.1 缺失值观察与处理

我们拿到的数据经常会有很多缺失值，比如我们可以看到Cabin列存在NaN，那其他列还有没有缺失值，这些缺失值要怎么处理呢

2.1.1 任务一：缺失值观察

(1) 请查看每个特征缺失值个数
(2) 请查看Age， Cabin， Embarked列的数据

#写入代码
train_test.isnull().sum() #查看每个特征值缺失的个数
((train_test.isnull().sum())/train_test.shape[0]).sort_values(ascending=False).map(lambda x:"{:.2%}".format(x))#查看每个特征缺失值的占比率

Cabin          77.10%
Age            19.87%
Embarked        0.22%
PassengerId     0.00%
Survived        0.00%
Pclass          0.00%
Name            0.00%
Sex             0.00%
SibSp           0.00%
Parch           0.00%
Ticket          0.00%
Fare            0.00%
dtype: object

#写入代码
print(train_test['Age'].head(5)) #查看Age列上的数据

print(train_test['Cabin'].head(5))#查看Cabin列上的数据

print(train_test['Embarked'].head(5))#查看embarked列上的数据

0    22.0
1    38.0
2    26.0
3    35.0
4    35.0
Name: Age, dtype: float64
0     NaN
1     C85
2     NaN
3    C123
4     NaN
Name: Cabin, dtype: object
0    S
1    C
2    S
3    S
4    S
Name: Embarked, dtype: object

#写入代码

print(train_test.loc[:,'Age'].head()) #使用loc

print(train_test.loc[:,['Age','Cabin','Embarked']].head()) #同时读取age,cabin,embarked的数据

print(train_test.iloc[:,[5,10,11]].head()) #使用iloc()的索引进行读取

0    22.0
1    38.0
2    26.0
3    35.0
4    35.0
Name: Age, dtype: float64
    Age Cabin Embarked
0  22.0   NaN        S
1  38.0   C85        C
2  26.0   NaN        S
3  35.0  C123        S
4  35.0   NaN        S
    Age Cabin Embarked
0  22.0   NaN        S
1  38.0   C85        C
2  26.0   NaN        S
3  35.0  C123        S
4  35.0   NaN        S

2.1.2 任务二：对缺失值进行处理

(1)处理缺失值一般有几种思路

解：处理缺失值有两种思路，第一种适用于将含有缺失值较多的行或者列，进行删除即可，第二种适用于含有缺失值较少的行或者列，按照数据的规律或者一定的逻辑将其填补上即可。

dropna() ，删除含有缺失值的行或列

fillna() ，填补缺失值

isnull() ， 判断值是否为缺失值

notnull() ， 判断值是否不是缺失值

(2) 请尝试对Age列的数据的缺失值进行处理

train_test[train_test['Age']==None] = 0
train_test.head(5)

	PassengerId	Survived	Pclass	Name	Sex	Age	SibSp	Parch	Ticket	Fare	Cabin	Embarked
0	1	0	3	Braund, Mr. Owen Harris	male	22.0	1	0	A/5 21171	7.2500	NaN	S
1	2	1	1	Cumings, Mrs. John Bradley (Florence Briggs Th...	female	38.0	1	0	PC 17599	71.2833	C85	C
2	3	1	3	Heikkinen, Miss. Laina	female	26.0	0	0	STON/O2. 3101282	7.9250	NaN	S
3	4	1	1	Futrelle, Mrs. Jacques Heath (Lily May Peel)	female	35.0	1	0	113803	53.1000	C123	S
4	5	0	3	Allen, Mr. William Henry	male	35.0	0