数据分析基础——数据清洗和准备

一.处理缺失数据

1.找到缺失数据

data=pd.Series(['a','b',np.nan,'d'])
data.isnull()

isnull:为NaN则返回ture，否则返回false。not null 则与isnull相反。

2.滤除缺失数据

data.dropna()

dropna:丢弃含有nan的行

data.dropna(how='all')

丢弃全为nan行的一行

data.dropna(thresh=2)

出现二个及二个以上的nan时该行被删除

3.填充数据

df.fillna(0)

将缺失值出现的地方用0赋值

df.fillna(method='ffill')

会将nan出现的前一个数据不断的往下复制

二.数据转换

1.移除重复数据

data.duplicated()

检查是否含有重复数据，有则返回ture

data.drop_duplicates()

删除重复的一列

2.利用函数或映射进行数据转换

data['foood'].map(meat)

将meat中的值索引到food列中

3.替换值

data.replace(-999,np.nan)

将data中-999赋值为nan

4.重命名轴索引

data.reindex()

只能修改已有的标签名，不对原数据产生影响

三.离散化和面元划分

ages=[20,22,25,27,21,23,37,31,61,64,41,32]
bins=[18,25,35,60,100]
cats=pd.cut(ages,bins)

将ages中的数据分成四个阶段分别为18，25，35，60，100

pd.value_counts(cats)

统计各阶段的计数

cats=pd.qcut(data,4)

qcut:将面元平均分布，划分成大小相等的面元

四.排列和随机采样

sum=np.random.permutation(6)

随机排列1-6的数

df.sample(n=3)

随机选择三行数据