dataframe去重_关于python实现Excel大批量数据去重的方法

关于python实现Excel大批量数据去重的方法

当Excel数据量很大的时候，常规的编码方式效率非常低下。这个时候需要专业地大数据量处理方法进行去重处理。

pandas是基于NumPy的一种工具，该工具是为了解决数据分析任务而创建的。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分析环境的重要因素之一。

需求：根据商品编号来判断行数据，如果相同商品编号的上一行和下一行的数据重复（重复定义为考核价和裸价都相同）那么删除重复的行，保留一行。：

Excel中的数据如下：

用python实现大批量数据去重方法如下：

#! /usr/bin/python