2 第二章:数据清洗及特征处理
我们拿到的数据通常是不干净的,所谓的不干净,就是数据中有缺失值,有一些异常点等,需要经过一定的处理才能继续做后面的分析或建模,所以拿到数据的第一步是进行数据清洗,本章我们将学习缺失值、重复值、字符串和数据转换等操作,将数据清洗成可以分析或建模的样子。
开始之前,导入numpy、pandas包和数据
import numpy as np
import pandas as pd
#加载数据train.csv
df = pd.read_csv("train.csv")
df.head()
2.1 缺失值观察与处理
我们拿到的数据经常会有很多缺失值,比如我们可以看到Cabin列存在NaN,那其他列还有没有缺失值,这些缺失值要怎么处理呢?
2.1.1 任务一:缺失值观察
(1) 请查看每个特征缺失值个数
(2) 请查看Age, Cabin, Embarked列的数据 以上方式都有多种方式,所以大家多多益善
#方法一
df.info() #可以看出Age,Cabin,Embrarked三列数据有缺失值
<class ‘pandas.core.frame.DataFrame’>
RangeIndex: 891 entries, 0 to 890
Data columns (total 12 columns):
#Column Non-Null Count Dtype
0 PassengerId 891 non-null int64
1 Survived 891 non-null int64
2 Pclass 891 non-null int64
3 Name 891 non-null object
4 Sex 891 non-null object
5 Age 714 non-null float64
6 SibSp 891 non-null int64
7 Parch 891 non-null int64
8 Ticket 891 non-null object
9 Fare 891 non-null float64
10 Cabin 204 non-null object
11 Embarked 889 non-null object
dtypes: float64(2), int64(5), object(5)
memory usage: 83.7+ KB
#方法二
df.isnull().sum() #可以直接得到Age,Cabin,Embrarked三列数据缺失值个数
PassengerId 0
Survived 0
Pclass 0
Name 0
Sex 0
Age 177
SibSp 0
Parch 0
Ticket 0
Fare 0
Cabin 687
Embarked 2
dtype: int64
df[['Age','Cabin','Embarked']].head(3)
2.1.2 任务二:对缺失值进行处理
(1)处理缺失值一般有几种思路
(2) 请尝试对Age列的数据的缺失值进行处理
(3) 请尝试使用不同的方法直接对整张表的缺失值进行处理
#处理缺失值的一般思路:
#提醒:可使用的函数有--->dropna函数与fillna函数
df[df['Age']==None]=0
df.head(10)
#把Age有缺失值的一行全部置为0
df[df['Age'].isnull()]=0
df.head(10)
#把Age值为NaN的一行全部置为0
df[df['Age']==np.nan]==0
df.head(10)
结果同上
【思考】检索空缺值用np.nan,None以及.isnull()哪个更好,这是为什么?如果其中某个方式无法找到缺失值,原因又是为什么?
【回答】数值列读取数据后,空缺值的数据类型为float64所以用None一般索引不到,比较的时候最好用np.nan
【思考1】dropna和fillna有哪些参数,分别如何使用呢?
- dropna函数的作用是删除有缺失值的行或者列,具体用法如下:
data.dropna(how = ‘all’) # 传入这个参数后将只丢弃全为缺失值的那些行
data.dropna(axis = 1) # 丢弃有缺失值的列(一般不会这么做,这样会删掉一个特征)
data.dropna(axis=1,how=“all”) # 丢弃全为缺失值的那些列
data.dropna(axis=0,subset = [“Age”, “Sex”]) # 丢弃‘Age’和‘Sex’这两列中有缺失值的行- fillna函数的作用是填充缺失数值,具体用法如下:
df1.fillna(100) #用常数填充
df1.fillna({0:10,1:20,2:30})#通过字典填充不同的常数
df1.fillna(0,inplace=True)#传入inplace=True直接修改原对象
df2.fillna(method=‘ffill’)#用前面的值来填充
df2.fillna(method=‘bfill’,limit=2)#传入limit=“限制填充个数”
df2.fillna(method=“ffill”,limit=1,axis=1)#传入axis=” “修改填充方向
具体用法举例参考https://blog.csdn.net/weixin_38168620/article/details/79596819