python读取csv文件数据并取出其中某个字段存入文件

最新推荐文章于 2023-04-19 19:51:52 发布

fye700

最新推荐文章于 2023-04-19 19:51:52 发布

阅读量3.4k

点赞数 1

分类专栏： python学习文章标签： python csv

本文链接：https://blog.csdn.net/fye700/article/details/112561297

版权

本文介绍了如何在Python中处理大型CSV文件，不占用过多内存。通过按行读取文件，计算每行的MD5指纹，并存储在集合中检查重复项，最终将特定字段写入新文件。这种方法适用于处理无法一次性加载到内存的大型数据集。

摘要由CSDN通过智能技术生成

在学习python过程中，遇到一种情况，要读取.csv文件的数据，然后取出其中某个字段，然后再写入到一个文件中，用于数据的比对，代码如下：

import csv
import hashlib
from itertools import islice
from openpyxl import Workbook


# 生成指纹数据的方法
def gen_md5(data):
    # 生成md5
    md5 = hashlib.md5()  # 获取一个md5加密算法对象
    md5.update(data.encode('utf-8'))  #制定需要加密的字符串
    return md5.hexdigest()  # 返回加密后的16进制字符串


def getdata(ordfilename, number):
    n =