csv数据去重 python,python批量查询、汉字去重处理CSV文件

CSV文件用记事本打开后一般为由逗号隔开的字符串，其处理方法用Python的代码如下。为方便各种程度的人阅读在代码中有非常详细的注释。

1.查询指定列，并保存到新的csv文件。

2.查询指定列中，每行数据出现在所有行数据的次数，并保存到新的csv文件。

因为是批量处理嘛~所以写的是所有数据重复出现的次数(但这个有点BUG，可能看完代码就知道了，没有去重！！！举个例子说a出现在第一行和第三行共2次，结果出来后就是第一行出现a，对应次数为2，第三行又出现a，对应次数也是2....这就是没有去重的麻烦之处，重复的数据会再次显示。)。但稍微修改一下可实现搜索某一数据出现的次数啦~

3.查询指定列中，每行数据出现在所有行数据的次数，去重处理后，并保存到新的csv文件。

一般去重都是数字或者字符去重，可以直接调用相应函数，而汉字去重就比只能循环比较了。所以这个算是包容性相当大的一种方式。

划重点！这个代码是经过了去重处理后的，完全不用担心会有重复数据显示啦~

Python处理此类数据相当快，大概一万行数据只需要1秒.......

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持服务器之家。

原文链接：https://blog.csdn.net/Lavender_sx/article/details/79452831