python读取两个csv文件后比较_比较两个大的csv文件,然后用python编写另一个

最新推荐文章于 2023-06-07 11:15:00 发布
最新推荐文章于 2023-06-07 11:15:00 发布
阅读量498 收藏
点赞数
文章标签： python读取两个csv文件后比较
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36483061/article/details/112052681
版权

我正在尝试比较两个包含化学数据的大型csv文件.

第一个文件“ file1”为14 Mb(不是那么重),但是第二个文件“ file2”为3Go(47798771行).

这是文件1的示例(我们将重点放在第四列,其中包含inchikeys)：

MFCD00134034 7440-42-8 B UORVGPXVDQYIDP-UHFFFAOYSA-N

MFCD01745487 64719-89-7 B1BBBB(BBBBB1[Li])[Li] XZXJQLAKEUKXOT-UHFFFAOYSA-N

MFCD01310566 19287-45-7 BB QSJRRLWJRLPVID-UHFFFAOYSA-N

MFCD00011323 10035-10-6 Br CPELXLSAUQHCOX-UHFFFAOYSA-N

N(CCNCCCCCCCCCCNCCN(CC)CC)(CC)CC PISAWRHWZGEVPP-UHFFFAOYSA-N

MFCD01744969 137638-86-9 O(C(=O)C(c1ccccc1)c1ccccc1)c1cc2c(C[[email protected]]3N(CC[C@]2(C)C3C)Cc2ccccc2)cc1 CIRJJEXKLBHURV-MAYWEXTGSA-N

O(CCCN1CCCC1)c1ccc(NC(=Nc2ccccc2)c2ccccc2)cc1 KETUBKLQEXFJBX-UHFFFAOYSA-N

MFCD01694581 3810-31-9 S(CCN(CCSC(N)=N)CCSC(N)=N)C(N)=N GGDUORJVTMUGNU-UHFFFAOYSA-N

MFCD06794992 60066-94-6 Brc1cc(C(=O)c2ncccc2)c(NC(=O)CNC(=O)[C@@H](N)CCCCN)cc1 NVOGGKXDMDDFEG-HNNXBM

最低0.47元/天 解锁文章
麦读
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python读取文件md5_用python计算文件的MD5值
weixin_28702105的博客
02-04 857
md5是一种常见不可逆加密算法，使用简单，计算速度快，在很多场景下都会用到，比如：给用户上传的文件命名，数据库中保存的用户密码，下载文件后检验文件是否正确等。下面讲解在python中如何使用md5算法。一、计算字符串的md5值#!/usr/bin/env python# -*- coding: utf-8 -*-import sysimport hashlibreload(sys)sys.setd...
Python实战：python 获取指定文件的MD5值
SteveRocket's-Blog
03-11 3151
在Python中，可以使用hashlib模块来计算文件的MD5值。MD5是一种常用的哈希算法，可以将任意长度的数据转换成固定长度的哈希值。计算文件的MD5值可以用于校验文件的完整性和一致性，以及检测文件是否被篡改。import hashlib def file_md5(self,file_name): #参数：文件名 """ 获取zip文件的md5""" conten
Python 获取文件的MD5值
测试入坑之路
12-01 1579
https://www.jb51.net/article/138086.htm https://blog.csdn.net/zheng_ruiguo/article/details/88717711
剪贴板：golang剪贴板
02-03
Go剪贴板 提供复制和粘贴到剪贴板的Go。 建立： $ go get github.com/atotto/clipboard 平台： OSX Windows 7（可能在其他Windows上运行） Linux，Unix（需要安装“ xclip”或“ xsel”命令） 文件： 笔记： 仅文字字串 仅UTF-8文本编码（不转换） 去做： 剪贴板观察器（？） 命令： 粘贴外壳命令： $ go get github.com/atotto/clipboard/cmd/gopaste $ # example: $ gopaste > document.txt 复制shell命令： $ go get github.com/atotto/clipboard/cmd/gocopy $ # example: $ cat document.txt | gocopy
python 通过md5检查并删除重复文件
爪爪熊的博客
09-11 937
注意：本操作具备危险性，使用代码删除文件之前请保留一份备份，以备不时之需。 本爪爪熊在一个朋友的帮助下，成功的下载到了数以万计的文件在同一个目录下。这其中就带来了一个问题，这些文件中很多都是重复的，如何快速的去除这些重复的文件呢？ 　　这里使用md5校验的办法，通过python进行实现，最终重复的文件仅会保留一份。 　　废话不多说，直接上代码： 　　#! /usr/bin/python3 # -*- coding:utf-8 -*- # @Time : 8/21/2020 2:41 PM # @Aut
python生成文件md5,用Python生成一个包含多个文件的MD5 / SHA1校验和
weixin_29765949的博客
12-18 139
I have looked through several topics about calculating checksums of files in Python but none of them answered the question about one sum from multiple files. I have several files in sub directories an...
Python将一个CSV文件里的数据追加到另一个CSV文件的方法
09-20
本篇文章将详细介绍如何使用Python将一个CSV文件中的数据追加到另一个CSV文件。 首先，我们需要导入`csv`模块。`csv`模块提供了一系列方法，如`reader`和`writer`，用于读取和写入CSV文件。要实现数据追加，我们...
Python实现求两个csv文件交集的方法
09-21
5. 注意内存管理，对于大文件，应考虑使用迭代器而非一次性加载所有数据。 了解这些知识点后，你可以根据实际需求灵活调整代码，处理不同场景下的CSV文件交集问题。同时，了解`csv`模块的其他功能，如处理带有特定...
csv_file.rar_csv_csv文件_python_python 读写 excel_python处理csv数据
09-23
读取CSV文件通常使用`csv.reader()`函数，而写入则使用`csv.writer()`函数。例如： ```python import csv # 读取CSV文件 with open('data.csv', 'r') as file: reader = csv.reader(file) for row in ...
python写xml文件_pythonxml读取和写入
weixin_39564386的博客
11-25 290
先说说如何创建一个XML文件吧# -*- coding: utf-8 -*-from xml.dom import minidomimpl = minidom.getDOMImplementation()dom = impl.createDocument(None, None, None)#namespaceURI, qualifiedName, doctype#write to domroot ...
python读取文件md5_使用Python 获取文件的MD5
weixin_39823017的博客
11-29 577
下面是编程之家 jb51.cc 通过网络收集整理的代码片段。编程之家小编现在分享给大家，也给大家做个参考。#获取文件的MD5值，适用于小文件def getFileMD5(self,filepath):if self.isFile(filepath):f = open(filepath,'rb')md5obj = hashlib.md5()md5obj.update(f.read())hash = ...
Python 比较两个 CSV 文件并打印差异
最新发布
迹忆客
06-07 1981
本文将讨论比较两个 CSV 文件的各种方法。我们将包括执行此操作的最“Pythonic”方式和可帮助简化此任务的外部 Python 模块。最后，我们将包括一种使用 Pandas DataFrames 识别 CSV 文件差异的方法。我们假设需要比较的两个 CSV 文件的标题为 file1.csv 和 file2.csv。您可以根据需要重命名文件。还请在下面给出的代码片段中适当地替换文件名。
【python学习】pickle文件和csv文件读取速度、内存大小对比
s1k9y9的博客
12-09 4963
本文主要从读取数据速度、占内存大小等方面对pickle文件(.pkl)和csv文件(.csv)进行对比 。
Python导入csv数据画对比柱状图
qq_38818972的博客
02-17 3399
Python导入csv数据画对比柱状图。
python实用脚本-获取软件md5值
qq_39149099的博客
02-15 1050
我们下载软件过程中，为了确保下载的软件没有被修改过，可以通过python脚本校验md5值，若与官方给出的md5不一致，则表示该软件被修改过，不安全，若一致，则软件是可信的。举例如下，下载python软件，校验MD5。 脚本如下： # -*- coding: utf-8 -*- # @CreateTime : 2022/2/14 9:21 # @ModifyTime : 2022/2/14 9:21 # @Author : 1.txt # @File : get_fil.
Python如何获取文件的MD5信息
CrazyDeveloper007的笔记
03-01 2944
文章目录1 环境介绍2 实现代码3 写在最后 本文概述：介绍了python程序如何获取本地文件的MD5信息，笔者在开发过程中，遇到这样一个需求，就是远程自动更新。 整体的实现思路是，从后台接口获取升级包的下载地址，升级包的MD5校验信息，下载升级包到本地，判断本地下载的升级包MD5是否与服务器的记录匹配，如果匹配则进行升级更新操作。 这样做一是确保升级包的完整性，二是防止本地升级包文件被病毒等篡改。本文所使用的是python原生模块 hashlib 原文地址： http://www.crazydevel
pyhon取文件md5值
有勇气的牛排博客
08-18 237
filename = '../static/tmpImg/6.jpg' if (filename): print(filename) fp = open(filename, 'rb') contents = fp.read() fp.close() print(hashlib.md5(contents).hexdigest()) else: print('file not exists')
RM-2 使用matlab进行txt文件读写
XQYsama的博客
10-07 604
使用matlab读取txt参考文件 供自己使用
两个Python文件能同时读取一个csv文件吗
05-29
因此，需要确保两个文件中对csv文件的读写操作是同步的，即一个文件读取时另一个文件不能进行写操作。 2. 如果两个Python文件需要同时对csv文件进行读写操作，建议使用线程或进程进行同步处理，避免数据冲突。 3. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值