数据清洗及特征处理

#准备工作
import pandas as pd
import numpy as np
#加载数据train.csv
df = pd.read_csv('train.csv')
df.head(3)

1.缺失值观察与处理

1.1缺失值观察

df.info()
pd.isnull(df)#查看空缺值
df.isnull().sum()#这可以知道空缺值个数
df.isnull().mean()#空缺值比例
df[['Age','Cabin','Embarked']].head(3)#查看Age， Cabin， Embarked列的数据，选择多列加[].

1.2缺失值处理

df[df['Age']== np.nan]=0  
df.head(3)
df[df['Age'].isnull()]=0
df.head()
df[df['Age']==None]=0
df.head()
df=df.dropna()
df.head(3)
df=df.fillna(0)
df.head(3)

【思考1】dropna和fillna有哪些参数，分别如何使用呢?

【思考】检索空缺值用np.nan,None以及.isnull()哪个更好，这是为什么？如果其中某个方式无法找到缺失值，原因又是为什么？
dropna的参数：axis:默认为0即'index',1为'columns'.
              how:all和any，默认为any，how='all'删除所有值为NA的行.
              thresh:df.dropna(thresh=n),去除NA值，这一行的剩余数值的数量大于等于n，就显示这一行。
              subset:去除特定列的缺失值.
              inplace:inplace=True改变原数据.
fillna的参数: value:标量值或字典型对象来填充缺失值
              method:{‘backfill’/‘bfill’用后一个值填充上面的缺失值 
                      ‘pad’/‘ffill’用前一个值去填充下面的缺失值, None用特定值填充缺失值}, default None，
              axis:默认为0即'index',1为'columns'.
              inplace:inplace=True改变原数据.
              limit:限制填充个数
None<.isnull()<np.nan,数值列读取数据后，空缺值的数据类型为float64所以用None一般索引不到，比较的时候最好用np.nan

2.重复值观察与处理

2.1重复值观察

df[df.duplicated()]

2.2重复值处理

df = df.drop_duplicates()
df.head()
df=df.drop_duplicates(['Age'])
df.head()#基于某列去除重复值

3.特征观察与处理

3.1对年龄（连续型数值值）进行分箱（离散化）处理

#分箱操作是什么：连续值进行离散，分组操作。
#将连续变量Age平均分箱成5个年龄段，并分别用类别变量12345表示
pd.cut(df['Age'],5,labels=[1,2,3,4,5])
#将连续变量Age划分为[0,5) [5,15) [15,30) [30,50) [50,80)五个年龄段，并分别用类别变量12345表示
pd.cut(df['Age'],[0,5,15,30,50,80],right=False,labels=[1,2,3,4,5])
#将连续变量Age按10% 30% 50% 70% 90%五个年龄段，并用分类变量12345表示
pd.qcut(df['Age'],[0,0.1,0.3,0.5,0.7,0.9],labels = [1,2,3,4,5])

3.2对文本变量进行转换

#value.counts()可以查看种类和类别的个数
df['Sex'].value_counts()
#unique查看类别，nunique查看类别数量
df['Sex'].unique()
df['Sex'].nunique()
#将文本变量Sex， Cabin ，Embarked用数值变量12345表示
df['Sex_num'] = df['Sex'].replace(['male','female'],[1,2])
df.head()#replace
df['Sex_num'] = df['Sex'].map({'male': 1, 'female': 2})
df.head()#map
#将文本变量Sex， Cabin， Embarked用one-hot编码表示
df.join(pd.get_dummies(df[['Sex', 'Cabin','Embarked']],prefix='thd')).head()

3.3从纯文本Name特征里提取出Titles的特征(所谓的Titles就是Mr,Miss,Mrs等)

#df.str.extract()函数参见：https://www.jianshu.com/p/2e9b0a56405a
df['Titles']=df['Name'].str.extract('(["Mr","Miss","Mrs"]+)\.')
或者df['Title'] = df.Name.str.extract('([A-Za-z]+)\.', expand=False)