动手学数据分析 | Datawhale-8月 | Task02：数据清洗及特征处理

动手学数据分析 | Datawhale-8月

---

Task02：数据清洗及特征处理

前面一章的内容大家可以感觉到我们主要是对基础知识做一个梳理，让大家了解数据分析的一些操作，主要做了数据的各个角度的观察。那么在这里，我们主要是做数据分析的流程性学习，主要是包括了数据清洗以及数据的特征处理，数据重构以及数据可视化。这些内容是为数据分析最后的建模和模型评价做一个铺垫。

---

一、导包，载入数据

#加载所需的库
import numpy as np
import pandas as pd
# 设置行不限制数量
pd.set_option('display.max_rows',None)
# 设置列不限制数量
pd.set_option('display.max_columns',None)

#加载数据train.csv
df = pd.read_csv('train.csv')
df.head(10)

二、缺失值观察与处理

1.缺失值观察

查看整个表的缺失值个数以及表的信息：

df.isnull().sum()

df.info()

查看每个特征缺失值个数：

#直接取Age列的值
In []:df['Age'].isnull().sum()
Out[]:177
# 利用loc、iloc提取列数据
# In[4]:data.loc[:,['A']] #取'A'列所有行，多取几列格式为 data.loc[:,['A','B']]
# In[5]:data.iloc[:,[0]] #取第0列所有行，多取几列格式为 data.iloc[:,[0,1]]
In []:df.loc[:,'Cabin'].isnull().sum()
Out[]:687
In []:df[['Age','Cabin','Embarked']].isnull().sum()
Out[]:	Age         177
		Cabin       687
		Embarked      2
		dtype: int64

2.对缺失值进行处理

处理缺失值的两种思路：
1.删除（过滤）
2.填充

过滤缺失值dropna（）：
dropna()返回所有非空数据及其索引值，索引为5的数据被删除。

# 两种取列值的方式，结果一样
In []:df['Age'].dropna().head(6) 
In []:df.loc[:,'Age'].dropna().head(6)
Out[]：	0    22.0
		1    38.0
		2    26.0
		3    35.0
		4    35.0
		6    54.0
		Name: Age, dtype: float64

用0填充fillna(0)：
索引为5的数据被填充为0

In []:df['Age'].fillna(0).head(6)
In []:df.loc[:,'Age'].fillna(0).head(6)
Out[]:
0    22.0
1    38.0
2    26.0
3    35.0
4    35.0
5     0.0
Name: Age, dtype: float64

---

3.总结

DataFrame.dropna( axis = 0 , how = ‘any’ , thresh = None , subset = None , inplace = False )

axis = {0 或 ‘index’, 1 或 ‘columns’}，默认为 0
确定是否删除包含缺失值的行或列。
0 或 ‘index’ ：删除包含缺失值的行。
1 或 ‘columns’ ：删除包含缺失值的列。

how{‘any’, ‘all’}, default ‘any’
当我们至少有一个 NA 或所有 NA 时，确定是否从 DataFrame 中删除了行或列。
‘any’ ：如果存在任何 NA 值，则删除该行或列。
‘all’ ：如果所有值都是 NA，则删除该行或列。

thresh = int
axis中至少有thresh个非缺失值，否则删除
比如 axis=0，thresh=10：标识如果该行中非缺失值的数量小于10，将删除改行。

subset: list
在哪些列中查看是否有缺失值。

inplace:
是否在原数据上操作。如果为真，返回None否则返回新的copy，去掉了缺失值。

---

DataFrame.fillna( value = None , method = None , axis = None , inplace = False , limit = None , downcast = None )

value ：scalar, dict, Series, or DataFrame
用于填充空洞的值（例如 0），或者指定用于每个索引（对于系列）或列（对于数据帧）的值的 dict/Series/DataFrame 值。

method：{‘backfill’, ‘bfill’, ‘pad’, ‘ffill’, None}, default None
在列上操作
ffill / pad: 使用前一个值来填充缺失值
backfill / bfill :使用后一个值来填充缺失值

limit： 填充的缺失值个数限制。

二、重复值观察与处理：

删除重复值

1.重复值观察：

观察全部数据和各个特征：
duplicated（）返回的是一个布尔值

df.duplicated().head()
df['Age'].duplicated().head()

2.对重复值进行处理：

删除重复值

# df['Age'].drop_duplicates()
df.drop_duplicates('Age')

---

三、将前面清洗的数据保存为csv格式

df.to_csv('test_clear_alone.csv')

---

四、特征观察与处理

我们对特征进行一下观察，可以把特征大概分为两大类：
数值型特征：Survived ，Pclass， Age ，SibSp， Parch， Fare，其中Survived， Pclass为离散型数值特征，Age，SibSp， Parch， Fare为连续型数值特征
文本型特征：Name， Sex， Cabin，Embarked， Ticket，其中Sex， Cabin， Embarked， Ticket为类别型文本特征。
数值型特征一般可以直接用于模型的训练，但有时候为了模型的稳定性及鲁棒性会对连续变量进行离散化。文本型特征往往需要转换成数值型特征才能用于建模分析。

1.对年龄进行分箱（离散化）处理

分箱操作是什么：
为了便于分析，连续数据常常被离散化或拆分为“面元”（bin）,也叫离散化和面元划分。

（1）将连续变量Age平均分箱成5个年龄段，并分别用类别变量12345表示
（哪边是闭端可以通过 right=False 进行修改。）：

group_names = ['1', '2', '3', '4','5']
bins = [0 ,20, 40, 60, 80, 100]
cats = pd.cut(df['Age'],bins,labels = group_names)
cats

# 如果向cut传入的是面元的数量而不是确切的面元边界，则它会根据数据的最小值和最大值计算等长面元。选项precision=2，限定小数只有两位
group_names = ['1', '2', '3', '4','5']
bins = [0 ,20, 40, 60, 80, 100]
cats = pd.cut(df['Age'],5,precision=2)
cats

# pd.value_counts(cats)是pandas.cut结果的面元计数。
pd.value_counts(cats)

（2）将连续变量Age按10% 30% 50% 70% 90%五个年龄段，并用分类变量12345表示

cats = pd.qcut(df['Age'],[0,0.1,0.3,0.5,0.7,0.9],labels = [1,2,3,4,5])
cats

2.对文本变量进行转换

(1) 查看文本变量名及种类
(2) 将文本变量Sex， Cabin ，Embarked用数值变量12345表示
(3) 将文本变量Sex， Cabin， Embarked用one-hot编码表示

（1）

df.value_counts('Sex')
df.value_counts('Cabin').head()
df['Embarked'].value_counts()

（2）replace 和 map两种方法：

df.['Cabin'].replace({'T':1,'C22':2})

df['Embarked'].replace({'S':1,'C':2,'Q':3}).head()

（3）one-hot表示（计算指标/虚拟变量）

x = pd.get_dummies(df['Sex'],prefix='Sex').head()
df_with_dummy = pd.concat([df, x], axis=1)
df_with_dummy

---

总结

第二章是数据清洗及特征处理。当我们可以比较熟练的操作数据并认识这个数据之后，我们需要开始数据清洗以及重构，将原始数据变为一个可用好用的数据，为之后放入模型做准备。