【python数据分析】-数据清洗与整理

python数据分析-数据清洗与整理

又开始我的好好学习之旅，这周学习数据分析,居老师日常动力！

今天要跟着罗罗攀（公众号：luoluopan1）学pandas数据清洗、合并、重塑以及字符串处理，数据均来自罗罗攀，敲棒~

1.数据清洗

处理缺失值

第一步：找出缺失值
主要通过 **isnull **和 **notnull **方法返回 **布尔值 **来判断什么位置有缺失值
(注：使用juypter notebok)

from pandas import DataFrame,Series
import pandas as pd 
import numpy as np
df = DataFrame([[3,4,5],[1,6,np.nan],['xxj','xf',np.nan],[np.nan,'a','b']])
df.isnull()
df.notnull()

通过sum可以获得每一列的缺失值数量，在通过sum可以获得整个DataFrame的缺失值数量

df.isnull().sum()
df.isnull().sum().sum()

通过info的方法可以获得整个DataFrame的数据缺失情况

第二步：处理缺失值
主要有删除缺失值、填充缺失值两种方法
(1) 可通过dropna方法删除有缺失值的所在行，记住是所在整个行

dropna方法可传入参数，传入how=‘all’，则会删除全部都为NAN的行，还是整个行

df2 = DataFrame(np.arange(12).reshape(3,4))
df2[3]=np.nan
df2.iloc[2,:]=np.nan
df2.dropna(how='all')

如果想删除包含缺失值的所在整个列，同样传入参数axis=1即可

df2.dropna(how='all',axis