第二章：01数据清洗及特征处理

1. 掌握数据清洗的方法
2. 了解特征观察及处理

 准备工作：导入numpy和pandas,加载数据集

import numpy as np
import pandas as pd
df_2=pd.read_csv('train.csv')
df_2.head()

数据清洗及特征处理

我们拿到的数据通常是不干净的，所谓的不干净，就是数据中有缺失值，有一些异常点等，需要经过一定的处理才能继续做后面的分析或建模，所以拿到数据的第一步是进行数据清洗，本章我们将学习缺失值、重复值、字符串和数据转换等操作，将数据清洗成可以分析或建模的亚子。

1 缺失值观察与处理 

任务一：缺失值观察：查看每个特征缺失值个数，查看Age， Cabin， Embarked列的数据

 查看每个特征缺失值的方法：df_2.info(), df_2.i

snull().sum(), df_2.isnull().any(), df_2.isnull().count();

查看Age， Cabin， Embarked列的数据:df_2[['Age','Cab

in','Embared']], df_2['Age'],df_2['Cabin'], df_2['Embarked']

df_2.info()

df_2.isnull().sum()

df_2.isnull().any()

df_2.Age
df_2.['Age']

 

df_2[['Age','Cabin','Embarked']]

 

任务二：对缺失值进行处理

(1)处理缺失值一般有几种思路: 缺失值填充，删除

(2) 请尝试对Age列的数据的缺失值进行处理：零填充，删除

df_2[df_2['Age']==None]=0,df_2[df_2['Age']==np.nan]=0,df_2[df_2.Age.isnull()]=0,

df_2[df_2['Age']==None]=0
df_2[df_2.Age==np.nan]=0
df_2[df_2['Age'].isnull()]=0
df_2.head()

df_2.isnull().any()

#只要有空的整行被删除
df_2.dropna()

#只有整行为空时被删除
df_2.dropna(how='all')

(3) 请尝试直接对整张表的缺失值进行处理：

df.fillna(0).head(3)

 2 重复值观察与处理

任务一：请查看数据中的重复值¶

重复值有哪些处理方式：duplicated()和drop_duplicates()方法。其中，前者用于标记是否有重复值，后者用于删除重复值，它们的判断标准是一样的，即只要两条数据中所有条目的值完全相等，就判断为重复值。

df_2[df_2.duplicated()]

 任务二：对重复值进行处理

#查看重复值
df_2[df_2.duplicated()]
df_2.head()
#删除重复值
df=df_2.drop_duplicates()
df.head()

df.to_csv('test_clear.csv')

3 特征观察与处理

 我们对特征进行一下观察，可以把特征大概分为两大类：
数值型特征：Survived ，Pclass， Age ，SibSp， Parch， Fare，其中Survived， Pclass为离散型数值特征，Age，SibSp， Parch， Fare为连续型数值特征
文本型特征：Name， Sex， Cabin，Embarked， Ticket，其中Sex， Cabin， Embarked， Ticket为类别型文本特征。

数值型特征一般可以直接用于模型的训练，但有时候为了模型的稳定性及鲁棒性会对连续变量进行离散化。文本型特征往往需要转换成数值型特征才能用于建模分析。

任务一：对年龄进行分箱（离散化）处理

 分箱操作：数据分箱技术在Pandas官方给出的定义，Bin values into discrete intervals，是指将值划分到离散区间。

Python实现连续数据的离散化处理主要基于两个函数，pd.cut和pd.qcut，

前者根据指定分界点对连续数据进行分箱处理，后者则可以根据指定箱子的数量对连续数据进行等宽分箱处理，所谓等宽指的是每个箱子中的数据量是相同的。
(1) 将连续变量Age平均分箱成5个年龄段，并分别用类别变量12345表示：

df_3['AgeBand']=pd.cut(df_3['Age'],5,labels=[1,2,3,4,5])
df_3.head()

 （2）将连续变量Age划分为[0,5) [5,15) [15,30) [30,50) [50,80)五个年龄段，并分别用类别变量12345表示.区间以0开头

#将连续变量Age划分为(0,5] (5,15] (15,30] (30,50] (50,80]五个年龄段，并分别用类别变量12345表示
df_3['AgeBand'] = pd.cut(df_3['Age'],[0,5,15,30,50,80],labels = [1,2,3,4,5])
df_3.head(3)

 （3）将连续变量Age按10% 30% 50% 70% 90%五个年龄段，并用分类变量12345表示.区间以0开头

df_3['AgeBand']=pd.cut(df_3['Age'],[0,0.1,0.3,0.5,0.7,0.9],labels=[1,2,3,4,5])
df_3.head()

任务二：对文本变量进行转换¶:查看文本变量名称，以及对变量进行统计后，进行转换

 查看文本变量名及统计变量有两种方式：value_counts(),unique()和nunique()

df_3['Sex'].value_counts()

 

df_3['Sex'].nunique()

 

 (2) 将文本变量Sex， Cabin ，Embarked用数值变量12345表示：.replce([],[]), .map({})

#.replace([],[])
df_3['sexBand']=df_3['Sex'].replace(['male','female'],[1,2])
df_3.head()

#.map({})
df_3['sexBand']=df_3['Sex'].map({'male':1,'female':2})
df_3.head()

 

 (3)从纯文本Name特征里提取出Titles的特征(所谓的Titles就是Mr,Miss,Mrs等)

df_3['NameBand'] = df_3.Name.str.extract('([A-Za-z]+)\.', expand=False)
df_3.head()