【pandas】查找重复数据 df.duplicated() 、删除重复数据 df.drop_duplicates()

已于 2022-07-14 23:02:48 修改
阅读量5.8k 收藏 20
点赞数 6
文章标签： pandas python 数据分析
于 2022-07-14 23:01:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37804469/article/details/125794594
版权

数据准备

import pandas as pd

train = pd.read_csv(r"../input/titanic/train.csv")
train.head()

在这里插入图片描述
查看是否有有重复数据

1、train.duplicated() 用布尔值说明数据是否重复

在这里插入图片描述

2、train[train.duplicated()] 筛选并展示重复数据
因为没有，所以展示为空
在这里插入图片描述

3、train.duplicated().sum() 输出重复数据的数量
这里为0

4、如果有重复数据，使用函数 df.drop_duplicates() 删除重复数据

我太懒了，我不想造重复数据
等之后碰到了有重复数据的数据集，再来返工一下吧 😁

Enzo 想砸电脑
关注
  • 6
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
pandas使用drop_duplicates函数删除dataframe数据中重复的数据行（默认保存重复数据行中第一次出现的数据行）
statistics+insight+vista+power
08-02 439
pandas使用drop_duplicates函数删除dataframe数据中重复的数据行（默认保存重复数据行中第一次出现的数据行）
数据治理 | 数据分析与清洗工具：Pandas 缺失值与重复值处理
weixin_55633225的博客
04-12 2065
本期文章我们将学习数据清洗非常重要的一步——缺失值和重复值的处理。缺失值和重复值对数据质量的影响非常大，本文将会向大家介绍如何使用 Pandas 处理缺失值和重复值，从此大家将免受缺失值，重复值的困扰！
pandas取出重复数据的方法
09-19
今天小编就为大家分享一篇pandas取出重复数据的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pandas筛选、去重与数据合并
书江南的博客
07-17 1496
通过本文操作，可以对表格进行排序和筛选，最终合并两张表格。groupby函数和merge函数是类似操作中最重要的部分，需要重点掌握。
【pandas】关于重复数据
weixin_47542662的博客
01-06 2689
【pandas】使用groupby之后报错
Pandas 模块-操纵数据(7)-检测是否重复 .duplicated()
一分耕耘一分收获
12-09 6025
数据重复是一个特别普遍的现象，但不一定是用户所希望看到的。无论是从数据存储，还是数据利用角度，过多冗余重复的数据都会带来不必要的开支。首先，我们要能检测相关数据是否重复。 Dataframe.duplicated(subset: 'Optional[Union[Hashable, Sequence[Hashable]]]' = None, keep: 'Union[str, bool]' = 'first')
pandas之重复数据的查看、删除和提取（后附数据网盘链接）
2302_80061155的博客
01-15 1199
pandas之重复数据的查看、删除和提取
pandas如何从3万条数据找出重复数据
weixin_42607969的博客
02-14 246
使用 Pandas 可以使用 duplicated 函数来找出重复数据。下面是一个例子： import pandas as pd # 创建数据帧 df = pd.DataFrame({'A': [1, 2, 3, 4, 1, 2, 3, 4], 'B': ['a', 'b', 'c', 'd', 'a', 'b', 'c', 'd']}) # 检查重复数...
pythonpandas重复数据统计_pandas dataframe重复数据查看.判断.去重
weixin_39593061的博客
12-08 4283
本文详解如何使用pandas查看dataframe的重复数据，判断是否重复，以及如何去重dataframe数据样本：import pandas as pddf = pd.DataFrame({'name':['苹果','梨','草莓','苹果'], 'price':[7,8,9,8], 'cnt':[3,4,5,4]})namecntprice0苹果 371 梨 4 82草莓 593苹果 68&g...
#重复值处理 import pandas as pd df1 = pd.read_excel(r'E:\\data\\蔬菜相关数据.xlsx') df1 #查看是否存在重复行 df1.duplicated() #查看重复行与非重复行的数量 cf = df1.duplicated() cf.value_counts()解析代码
05-24
这段代码实现了对DataFrame中重复行的检测。具体解析如下： 1. 导入 pandas 模块，并使用 pd.read_excel() 函数读取名为“蔬菜相关数据.xlsx”的 Excel 文件...如果需要去除重复行，可以使用 drop_duplicates() 方法。
数据处理Pandas-重复数据处理-Python实例源码.zip
12-13
2. **去除重复数据**：一旦检测到重复数据，可以使用`drop_duplicates()`函数来删除它们。同样，此函数默认基于所有列进行比较。你可以通过设置参数`subset`来指定仅考虑特定列。 ```python df_clean = df.drop_...
Python进阶：Pandas -- 清理重复数据
创作高质量博文，分享知识，共同进步！
02-27 3213
🌵 深入探索Python进阶之路，Pandas库成为我们清理重复数据的得力助手！🔥 在数据处理的旅程中，重复数据常常成为我们的绊脚石。但是，借助Pandas的`drop_duplicates()`函数，我们可以轻松地去重，让数据更加整洁！🔍 在这个过程中，我们深入了解了`drop_duplicates()`的参数，如`subset`、`keep`等，以便更灵活地处理数据。📕 回顾与收获时刻，我们感慨Pandas的强大与便捷，同时也期待与您共同成长，探索更多数据处理的奥秘！🤗
【Python】Pandas 重复数据处理大全
fengdu78的博客
07-06 1426
本次来介绍关于重复数据处理的几个常用方法。重复值处理主要涉及两个部分，一个是找出重复值，第二个是删除重复值，也就是根据自己设定的条件进行删除操作。定位重复值对于重复值，我们首先需要查看这些重复值是什么样的形式，然后确定删除的范围，而查询重复值需要用到duplicated函数。duplicated的返回值是布尔值，返回True和False，默认情况下会按照一行的所有内容进行查重。主要参数：subse...
Pandas重复数据的查看和去重
CICI❤️的博客
01-10 1230
实现步骤： 1、采用drop_duplicates对数据去两次重，一次将重复数据全部去除（keep=False）记为data1,另一次将重复数据保留一个（keep='first）记为data2; 2、求data1和data2的差集即可:data2.append(data1).drop_duplicates(keep=False) data1 = df.drop_duplicates(keep=Fa...
pandas找到及删除重复数据
美味的螺蛳粉的博客
11-26 174
import pandas as pd import os os.chdir(r'文件路径') students = pd.read_excel(r'Students_Duplicates.xlsx') #删除Name列重复的数据,keep='last'保存最后的数据 students.drop_duplicates(subset='Name',inplace=True,keep='last') #判断是否存在重复数据，True代表重复，False代表不重复 dupe = students.duplicat
pandas数据处理---1查看、删除重复元素 df.duplicated(subset=None, keep='first'/'last'/False)
热门推荐
直心I
01-10 1万+
1.查看标记重复元素 **1.1使用函数：**duplicated()：df.duplicated(subset=None, keep=‘first’/‘last’/False) 1.2参数解析： A.subset：对应值是列名，表示只考虑写的列，将列对应值相同的行进行去重，默认值None，即考虑所有列； B.keep='first/last/False’：first：默认值，除了第一次出现外，其...
Python中的Pandas模块如何检测和处理重复行
Pandas120的博客
01-16 1122
在数据处理中，检测和处理重复行是非常重要的一步。Pandas提供了多种方法来进行重复行的检测和处理，包括和基于布尔索引的过滤。通过这些方法，可以轻松地找到和处理数据框中的重复行，从而确保数据的质量和准确性。在具体应用中，根据业务需求选择合适的方法来处理重复行是至关重要的。
df.drop_duplicates()删除提取重复记录
weixin_45065754的博客
02-17 706
pandas.DataFrame.drop_duplicates
爆改YOLOv8|使用MobileNetV4替换yolov8的Backbone
最新发布
weixin_43986124的博客
09-12 589
MobileNetV4，yolov8改进backbone, yolov8改进， 即插即用
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Enzo 想砸电脑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值