Datawhale组队学习笔记-动手学数据分析Task02-1

  第二章   数据清洗及特征处理

任务一、缺失值观察

(1) 请查看每个特征缺失值个数
(2) 请查看Age， Cabin， Embarked列的数据

• 导入数据

import numpy as np
import pandas as pd
df_train = pd.read_csv('train.csv')  
df_train = pd.read_csv(r'C:\Users\Administrator\jupytercode\datawhale\data\train.csv')  
df_train.head()
df_train.info()      

• 查看缺失值：df.isnull()返回布尔值，True和False；df.isnull().sum()统计缺失数量

df_train.info()
df_train.isnull().sum()
df_train.isnull().head()
df_train.notnull().sum() 

•  查看Age， Cabin， Embarked列
• 查看单列:df[' ']    查看多列： df[    [ '  ',  '  ', '  ' ]    ]

df_train['Age'].head()
df_train[['Age','Cabin','Embarked']]

 任务二：对缺失值进行处理

(1) 处理缺失值一般有几种思路

(2) 请尝试对Age列的数据的缺失值进行处理

(3) 请尝试使用不同的方法直接对整张表的缺失值进行处理

• 后续思考利用numpy：np.isnan()函数;并区分np.isnan()和pd.isnull()、np.nan
• Age列缺失值处理：（参考答案）

df_train[df_train['Age']==None]=0

df_train[df_train['Age'].isnull()] = 0

df_train[df_train['Age'] == np.nan] = 0

 思考：空缺值np.nan, np.isnan, None, pd.isnull, pd.isna

• df.fillna缺失值填充

1.value:scalar,series,dict,dataframe可以填充数值、可以填充字典；

df.fillna(value=1)       ##缺失值填充为1

df_train.fillna(value={'Age':2,'SibSp':9})        #传入一个字典，指定某列填充的具体值

2.method：{backfill,bfill,pad,ffill,none},default none

填充的方法，backfill和bfill代表填充后侧值，ffill和pad填充空值前侧值

df_train.fillna(method='ffill')

3.limit int 或None
向前或后填充的最大数量，必须是大于0的整数
如果指定了method参数，则连续空值值填充前int个
如果未指定method参数，则只填充所在轴上的前int空值

df.fillna(value=0,axis=1,limit=1)    #每列只填充第一个空值

• df.dropna()过滤数据中缺失值

df_train.dropna()

2.2 重复值观察与处理

2.2.1 任务一：请查看数据中的重复值

• 查看重复值

df_train[df_train.duplicated()]

2.2.2 任务二：对重复值进行处理

(1)重复值有哪些处理方式呢？

(2)处理我们数据的重复值

• 清除重复值

df_train2 = df_train.drop_duplicates()

2.2.3 任务三：将前面清洗的数据保存为csv格式

df_train.to_csv('test_clear.csv')

2.3 特征观察与处理

可以把特征大概分为两大类：
数值型特征：Survived ，Pclass， Age ，SibSp， Parch， Fare，其中Survived， Pclass为离散型数值特征，Age，SibSp， Parch， Fare为连续型数值特征
文本型特征：Name， Sex， Cabin，Embarked， Ticket，其中Sex， Cabin， Embarked， Ticket为类别型文本特征。

数值型特征一般可以直接用于模型的训练，但有时候为了模型的稳定性及鲁棒性会对连续变量进行离散化。文本型特征往往需要转换成数值型特征才能用于建模分析。

2.3.1 任务一：对年龄进行分箱（离散化）处理

(1) 分箱操作是什么？

(2) 将连续变量Age平均分箱成5个年龄段，并分别用类别变量12345表示

(3) 将连续变量Age划分为(0,5] (5,15] (15,30] (30,50] (50,80]五个年龄段，并分别用类别变量12345表示

(4) 将连续变量Age按10% 30% 50% 70% 90%五个年龄段，并用分类变量12345表示

(5) 将上面的获得的数据分别进行保存，保存为csv格式

• 分箱操作：进行区间划分，统计各个区间的数量
• 分箱使用pd.cut() 、pd.qcut()
• pd.cut(x,bins,right=True,labels=None,retbins=False,precision=3,include_lowest=False,duplicates='raise')
• pd.qcut(x, q, labels=None, retbins=False, precision=3, duplicates='raise')       q ： 表示分位数的整数或者数组

• df_train['AgeBand'] = pd.cut(df_train['Age'], 5,labels = [1,2,3,4,5])
  df_train
  df_train.to_csv('traintest_ave.csv')

df_train['AgeBand'] = pd.qcut(df_train['Age'],[0,0.1,0.3,0.5,0.7,0.9],labels = [1,2,3,4,5])
##将连续变量Age划分为(0,5] (5,15] (15,30] (30,50] (50,80]五个年龄段，并分别用类别变量12345表示
df_trian.to_csv('train_cut.csv')   #存储数据

df_train['AgeBand'] = pd.cut(df_train['Age'],[0,5,15,30,50,80],labels = [1,2,3,4,5])

 2.3.2 任务二：对文本变量进行转换

(1) 查看文本变量名及种类
(2) 将文本变量Sex， Cabin ，Embarked用数值变量12345表示
(3) 将文本变量Sex， Cabin， Embarked用one-hot编码表示

df_train['Sex'].value_counts()
df_train['Cabin'].value_counts()
df_train['Sex'].unique()

---

df_train['Sex_num'] = df_train['Sex'].replace(['male','female'],[1,2])

2.3.3 任务三（附加）：从纯文本Name特征里提取出Titles的特征(所谓的Titles就是Mr,Miss,Mrs等)

str.extract

思考：和str.split 适用的不同场景

参考资料：《python for data analysis》  、《Joyful-Pandas》

备注：本人为新手学习，基础和理论知识薄弱，笔记主要为自己记录自己的学习过程，方便后期自己多次复现和思考，期间存在许多问题，请大家指正。