Python自动化之Excel去除相同数据

最新推荐文章于 2024-06-24 16:33:49 发布
原创 最新推荐文章于 2024-06-24 16:33:49 发布 · 1.6k 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #excel

这篇博客介绍了如何使用Python进行Excel数据的自动化处理，通过一个工资表实例展示了去除相同数据的过程，特别是通过手机号这一唯一标识进行筛选。文章分享了相关代码，并展示了运行效果，最终生成的Excel文件中重复数据被有效去除。

之前分享了一篇关于Python的Excel合并的文章。链接在下方，今天为大家分享一个Python去除Excel中相同数据 也是以一个工资表为例。为方便观赏，数据量少，足够使用。

致力打造口中：别人的公众号
文中代码的演示效果以及源码获取请点这里

素材准备

一个带有重复数据的Excel工资表

在这里插入图片描述

  • 安装下载模块（numpy、pandas、xlrd）
  • 选择正确的路径（工资表路径）
  • 写代码
    可以看到，数据中有王一是有两列

如何筛选数据

此次通过手机号来筛选数据
名字可能相同，工资等也有可能相同
但是手机号是唯一
在这里插入图片描述

代码分享

#去除重复数据
最低0.47元/天 解锁文章
Python开发案例之用Python子进程关闭Excel自动化中的弹窗
xuezhangmen的博客
12-17 817
利用Python进行Excel自动化操作的过程中，尤其是涉及VBA时，可能遇到消息框/弹窗（MsgBox）。此时需要人为响应，否则代码卡死直至超时 [^1] [^2]。根本的解决方法是VBA代码中不要出现类似弹窗，但有时我们无权修改被操作的Excel文件，例如这是我们进行自动化测试的对象。所以本文记录从代码角度解决此类问题的方法。假想场景使用xlwings（或者其他自动化库）打开Excel文件test.xlsm，读取Sheet1!A1单元格内容。很简单的一个操作：print(msg)
Python实现自动化Excel数据处理与报表生成工具
最新发布
安
01-06 444
这个Python脚本实现了一个自动化的Excel数据处理与报表生成工具，能够从Excel文件中加载数据、清洗数据（如去重、填充缺失值等），然后生成经过处理后的报表。这个工具简化了日常的数据清洗与报表生成流程，能够帮助用户在短时间内处理大量数据，适合数据分析师、财务人员、运营人员等需要频繁操作Excel数据的用户。：脚本会自动在指定的文件夹中生成处理后的Excel报表，文件名包括当前的时间戳，确保每次生成的报表不重复。：生成的报表将包含清洗后的数据，去除了重复行并填充了缺失值（如果有）。
python 删除excel表格重复行,数据预处理操作
09-16
主要介绍了python 删除excel表格重复行,数据预处理操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python如何将EXCEL表的数据去重复
小九啥也不会
06-24 1955
如果你想要根据某些特定的列进行去重，你可以传递一个包含列名的列表给drop_duplicates方法，例如：df.drop_duplicates(subset=[‘column1’, ‘column2’])。注意：在运行上述代码之前，请确保你的Python环境中已经安装了pandas和openpyxl库，并且example.xlsx文件在你的工作目录中，或者提供了正确的文件路径。（可选）将结果写回Excel文件：使用to_excel方法将去重后的DataFrame写回到一个新的Excel文件中。
python去除Excel重复项
weixin_35753431的博客
12-17 4802
可以使用 Python 的 pandas 库来去除 Excel 中的重复项。 首先，你需要安装 pandas： pipinstall pandas 然后，你可以使用 pandas 的 read_excel() 函数来读取 Excel 文件，并使用 drop_duplicates() 函数来去除重复项。 例如，假设你有一个名为 "data.xlsx" 的 Excel 文件，并且你想要去除其中 "N...
几行Python代码，轻松搞定Excel表格数据去重
SRE成长记
01-13 3471
几行Python代码，轻松搞定Excel表格数据去重
python统计excel中重复数据_Excel中去掉重复数据这7个技巧你一定要知道
weixin_39593247的博客
11-30 530
在Excel中会有一些重复数据的出现，那么要如何去掉重复数据呢？或是想要快速查找重复内容，下面就和大家分享7个用于数据重复的技巧。一、删除重复项想要删除表格中的重复项，最简单的方法就是使用Excel自带的删除重复项功能了。选中单元格区域，打开“数据”中的“删除重复项”点击删除即可。二、数据筛选-高级筛选还有一个办法可以简单删除重复项，保留单一数据列表，就是利用数据的高级筛选功能。打开“数据”中的“...
Python实例-毕业项目设计：数据处理与Excel自动化
12-17
数据清洗可能包括去除空值、重复数据和异常值，以及统一数据格式。数据转换可以是根据某种规则生成新的列，或者将数据分组聚合，以及应用各种统计函数。在进行这些操作时，Pandas库提供的方法和函数能够极大地简化...
使用Python操作Excel，删重复数据及keep参数用法并保存的例子
白帽阿叁的博客
10-19 3286
解析：我们使用了pandas库读取Excel文件，并使用drop_duplicates()函数删除重复数据。其中，subset参数指定了删除重复数据的列（列名），keep参数指定了保留哪个重复记录（默认为第一个记录）。inplace=True参数表示在原始数据上进行操作。
Python学习笔记_读Excel去重
weixin_33758863的博客
03-03 622
读取一个Excel文件，按照某列关键字，如果有重复则去掉 这里不介绍所有的解决办法，只是列出一个办法。 软件环境： OS：Win10 64位 Python 3.7 测试路径:D:\Work\Python 测试的Excel文件:Test1.xlsx 参考代码： #! -*- coding utf-8 -*- #! @Tim...
python给excel的列数据去重
11-19
https://pypi.org/project/xlrd/ xlrd是1.2的版本 https://pypi.org/project/xlwt/ 分别下载tar.gz 文件 解压后的文件夹，cmd python setup.py install
32 python解决工作小问题之 处理Excel的重复数据 2
05-22
32 python解决工作小问题之 处理Excel的重复数据 文本2
python 模仿excel中的‘删除重复项’功能，根据某行删除二维数组的重复项，但不使用drop_duplicates’函数实现
m0_56488567的博客
02-01 1108
python 模仿excel中的‘删除重复项’功能，根据某行删除二维数组的重复项，但不使用drop_duplicates’函数实现
python三行搞定Excel多行多列删除重复值
Zhongwenmingzi_0的博客
05-11 472
像案例一样数据较少的时候直接用Excel的公式合并列，或者一列一列地删除重复项也能得出结果，但如果数据有十几列几千行，Excel它就不乐意了，这个时候python的效率就体现了。如下图所示，希望在多行多列的值班表中，提取出不重复的人员名单。还有需要就导出即可。
【python】对excel数据进行去重
weixin_44557370的博客
08-09 889
然后我们可以看见文件里面包含一些重复的数据…
用python对excel文件去重
sunshinggg的博客
04-13 1283
用python对excel文件去重 代码： import pandas as pd import numpy as np df = pd.read_csv(r’C:\Users\小天使\Desktop\data\prod_to_rules_quchong.csv’) df.sort_values(‘retro_templates’,ascending=False)#对文件按指定关键字进行排序 print(len(df)) a=df.drop_duplicates([“retro_templates”])#对
Python读excel去重
ChenADC的博客
10-06 897
@Python读excel去重 Python读excel去重 excel里某一行重去，去掉这一行，直接上代码 一段漂亮的代码 // An highlighted block import xlrd #打开excel文件 import math; #将创建的属性字段删除——读取 data = xlrd.open_workbook('PoiDownload_fz11resout.xls') #打开Excel文件读取数据 sh = data.sheet
python对excel表某一列去重
phoenix3k的博客
06-06 3132
其实第三方库pandas已经实现了这个功能, 但是为啥我还要自己重新写一个方法呢, 用过pandas你就会发现, 虽然可以去重, 但是最左边会莫名其妙多出一列序号, 好像这个去重方法还必须要传入去重列的字段名, 不能按列号去重, 最烦的是当对身份证号码去重时, 新生成的excel中身份证号码列竟变成了科学计数法....可能我是没有掌握pandas去重的要领吧, 算了, 自己动手造个轮子吧! 直接上代码: 简单解释一下, 同样需要引用openpyxl包, 这里我用了和pandas里一样的函
Python办公小技巧：excel去重
程序员老狼专注开发aigc或客服系统应用
09-20 300
情景描述 小明是一个办公室的新人，他每天都需要处理大量的Excel表格。有一次，他在处理一个数据表格时，发现需要对一个列进行去重操作。他手动一个一个地删除重复的数据，费了一番功夫，最后还是有一些重复的漏掉了。 技巧 小明向老鼠标老师寻求帮助，老鼠标告诉他有一个Python办公小技巧可以帮助他快速去重。 import pandas as pd 读取数据表格 data = pd.read_exc...
Python自动化处理Excel数据示例源码
Python示例源码-excel操作-大作业.zip 文件所包含的内容主要围绕使用 Python 语言对 Excel 文件进行自动化操作，属于数据分析自动化领域的重要实践内容。该压缩包中的子文件名为“excel操作”，表明其核心功能是利用...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值