一千万条数据去重_Pandas数据去重和对重复数据分类、求和

人的理想志向往往和他的能力成正比。—— 约翰逊

其实整个需求呢，就是题目。2018-08-16

需求的结构图：

涉及的包有：pandas、numpy

1、导入包：

importpandas as pdimport numpy as np

View Code

2、构造DataFrame，里面包含三种数据类型：int、null、str

data = {"number":[1,1,np.nan,np.nan,2,2,1,2,2],"letter":['a','b',np.nan,np.nan,'c','d','b','c','d'],"label":[1,1,9,9,2,2,1,2,2]}

dataset1= pd.DataFrame(data) #初始化DataFrame 得到数据集dataset1

print(dataset1)

View Code

3、空值填充

由于数据集里含有空值