python pandas dataframe 去重函数

今天笔者想对pandas中的行进行去重操作,找了好久,才找到相关的函数

先看一个小例子


from pandas import Series, DataFrame

data = DataFrame({'k': [1, 1, 2, 2]})

print data

IsDuplicated = data.duplicated()

print IsDuplicated
print type(IsDuplicated)

data = data.drop_duplicates()
print data


执行结果是:


   k
0  1
1  1
2  2
3  2
0    False
1     True
2    False
3     True
   k
0  1
2  2


DataFrame的duplicated方法返回一个布尔型Series,表示各行是否重复行。


而 drop_duplicates方法,它用于返回一个移除了重复行的DataFrame


这两个方法会判断全部列,你也可以指定部分列进行重复项判段。

例如,希望对名字为k2的列进行去重,

data.drop_duplicates(['k2'])



  • 24
    点赞
  • 43
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
Python pandas是一个数据分析工具,提供了DataFrame数据结构,它有许多常见的函数可以对数据进行处理和分析。 1. 读取数据:通过read_csv()函数可以将csv格式的文件读取为DataFrame对象,并通过to_csv()函数DataFrame对象保存为csv文件。 2. 选取数据:使用loc()和iloc()函数可以根据标签或索引选取DataFrame中的行和列。例如,df.loc[0]可以选择第一行,df.loc[:, 'A']可以选择'A'列。 3. 描述数据:describe()函数可以提供DataFrame中数值列的基本统计信息,如计数、均值、标准差等。 4. 排序数据:通过sort_values()函数可以根据指定的列或多个列对DataFrame进行排序。 5. 筛选数据:使用条件表达式可以筛选出满足条件的数据,例如df[df['A'] > 0]可以筛选出'A'列大于0的数据。 6. 缺失值处理:fillna()函数可以将DataFrame中的缺失值用指定的值进行填充,dropna()函数可以删除包含缺失值的行或列。 7. 合并数据:通过concat()和merge()函数可以将多个DataFrame对象按指定的方式合并成一个新的DataFrame。 8. 统计计算:DataFrame提供了一些常见的统计计算函数,如sum()、mean()、median()等,可以对指定的列进行计算。 9. 分组操作:使用groupby()函数可以按照指定的列对DataFrame进行分组操作,然后进行聚合计算,如求和、平均值等。 10. 数据透视表:使用pivot_table()函数可以根据指定的行和列对DataFrame进行透视操作,类似于Excel中的数据透视表。 这些函数只是常见的一部分,Python pandas还提供了很多其他强大的函数和特性,可以根据实际需求去探索和应用。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值