Python脚本002：取两个文件数据的交集

最新推荐文章于 2023-05-10 17:09:30 发布
最新推荐文章于 2023-05-10 17:09:30 发布
阅读量782 收藏 2
点赞数
分类专栏： python脚本 文章标签： python 列表
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41876456/article/details/119279602
版权

背景：需要标注夜间行人检测的数据集（原图15w张.jpg）
1.老师提供了10w张.txt标注数据（已经检测好的）
2.我这边对数据集做了一个筛选，将光照强度高的剔除，留下夜间10w.jpg
3.现在需要取1和2的数据的交集，分别存在JEPGImage文件夹和Annotations文件夹中

#author：XuLiu
#time：2021-07-29
#fuction：we select 10w pictures,then we should pipei 15w txtfiles
#input:10w pictures,10w txtfiles
#output:
最低0.47元/天 解锁文章
Coder_L2
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python实现求两个csv文件交集的方法
09-21
主要介绍了Python实现求两个csv文件交集的方法,涉及Python针对csv文件的读取、遍历、判断等相关操作技巧,需要的朋友可以参考下
python-比较两个文件交集、并集、差集
草青工作室 的专栏
12-06 2486
python 比较两个文件交集、并集、差集 #!/usr/bin/env python2.7 #coding=utf-8 ''' s05=set(['x','b','a']) s06=set(['c','x','e']) ''' s05=set(open('/Users/.../1205.txt','r').readlines()) s06=set(open('/Users/.../...
python取得两个文件的交集、并集和差集。
weixin_41869644的博客
04-24 2789
1.两个txt文件都是一列数据，现在求这两个txt文件的交集、并集和差集。 s1 = set(open('/data/test/id.list', 'r').readlines()) s2 = set(open('/data/test/s.list', 'r').readlines()) ff = open('/data/test/shuchu.list','w') all_union =...
如何用python表示交集_如何编写一个python脚本来查找两个文件之间的交集并附加原始fi...
weixin_30094815的博客
01-13 219
如果两个文件都像您的例子中那样排序，那么您可以在沿着一个或两个文件智能地逐行读取时找到交叉点。这对进程的内存消耗更友好，并且不需要为file1中的每一行循环file2。对于像您的示例这样的小文件来说，这并不重要，但是当这些文件很大时，它将对您有所帮助。在请注意，我只考虑了起始和结束列来匹配DNA链。如果其他字段也需要匹配，则此代码将不起作用(但您可以对其进行调整)。在在现实生活中使用它之前，还需要...
Python获取两个文件的交集、并集、差集
weixin_30457881的博客
12-13 559
题记:朋友在处理数据时，需要解决这方面的问题，所以利用她给的代码，自己重新梳理了下，并成功运行。 代码如下： # coding:utf-8 s1 = set(open(r'C:\\Users\\yangwj\\Desktop\\2\\1.txt').readlines()) s2 = set(open(r'C:\\Users\\yangwj\\Desktop\\2\\2.txt')....
partitioned-hash-join:一个计算两个内存受限的大文件交集的小python脚本
07-11
给定两个1.3 GB大文件，每个文件有 1 亿个条目，找到这些文件的交集。 该程序不得使用超过50 MB的 RAM。 输入文件的单个条目的格式为A1234567890\r\n 。 如果条目的数字部分相等，则两个条目相等。 例如是A...
Python判断两个文件是否相同与两个文本进行相同项筛选的方法
09-19
以下是一个简单的Python脚本，用于判断两个文件是否相同： ```python import hashlib def getHash(f): line = f.readline() hash = hashlib.md5() while(line): hash.update(line) line = f.readline() ...
OCConfigCompare:Python脚本比较两个plists并列出其中一个缺少的键
03-20
"OCConfigCompare:Python脚本比较两个plists并列出其中一个缺少的键" 这个标题表明我们正在讨论一个名为OCConfigCompare的Python脚本，它的主要功能是对比两个plist（Property List）文件，并找出在其中一个文件中...
Python:Python基础和Python的数据结构
04-05
总的来说，掌握Python的基础知识和数据结构对于成为一个有效的Python开发者至关重要。无论是初学者还是经验丰富的程序员，都需要不断地实践和探索，才能更好地利用Python的强大功能。通过学习和应用这些知识，你将...
这是一个普普通通医学生寻找两个文件的相同基因（交叉基因）的脚本
04-21
原理：查找两个文件的交集 需要提供两个文件： 1、需要查找的基因的文件,格式为‘.xlsx’ (因为要求不多，就做得糙了点） 2、需要找寻的数据库（or 另一个基因集），文件格式为‘.csv’ 基本配置——python以及...
Python求两个文本文件以行为单位的交集、并集与差集的方法
09-21
主要介绍了Python求两个文本文件以行为单位的交集、并集与差集的方法,涉及Python文本文件与集合运算的相关技巧,需要的朋友可以参考下
Python 求两个文本文件以行为单位的交集 并集 差集
by breeze
07-08 6194
Python 求两个文本文件以行为单位的交集 并集 差集，来代码： s1 = set(open('a.txt','r').readlines()) s2 = set(open('b.txt','r').readlines()) print 'ins: %s'%(s1.intersection(s2)) print 'uni: %s'%(s1.union(s2)) print 'dif: %s'
python从文件中提取数据_在Python中从文件中提取两个匹配项之间的数据
weixin_39624071的博客
11-27 261
Table 1 Qualitative composition of SERQUEL 25 mg tabletsIngredient Function Reference to standardsTablet coreQuetiapine fumarate Drug substance This documentPovidone Binder USPDibasic calcium...
用java实现在 对两个文件数据取交集、并集、差集
最新发布
m0_63064861的博客
05-10 527
【代码】用java实现在 对两个文件数据取交集、并集、差集。
python保留两个文件夹中共有的文件
TangXin95的博客
08-09 221
有一批MRI图像数据，只想保留期中既有6月份也有12月份的数据 implementation """ Author：tx time:2021-08-09 """ import glob import os import shutil old_6m = r"C:\Users\tx\Desktop\MRIdata\6_month" new_6m =r"C:\Users\tx\Desktop\MRIdata\new6" old_12m = r"C:\Users\tx\Desktop\MRIdata\12_
python:实现intersection交集算法(附完整源码)
希望我的博客，能帮上你解决学习中工作中所遇到的问题
07-18 402
python:实现intersection交集算法(附完整源码)
python中集合运算_Python巨型集合运算的几种方法
weixin_39666496的博客
11-25 172
我们有时候需要对巨型的集合（数量在百万，千万甚至更大）进行一下运算，包括交集、并集、差集。以下总结了在Python中实现的集中方法，以及其优缺点。使用set方法：并集 s.union(t) 或者 s | t交集 s.intersection(t) 或者 s & t差集 s.difference(t) 或者 s - t特点速度快内存消耗大，一个1万个元素的集合，其占用的内存远大于1万 * 每个...
Python中获取交集并集差集的方法
热门推荐
qq_35408228的博客
11-07 1万+
python交并差
python 列表取交集
weixin_35756373的博客
12-24 9995
Python 中列表取交集的方法有两种： 方法一：使用内置函数 intersection() 如果要取两个列表的交集，可以使用内置函数 intersection()，它会返回两个列表中都有的元素。 例如： list1 = [1, 2, 3, 4] list2 = [3, 4, 5, 6] result = list1.intersection(list2) print(result)# 输出 [...
Python面试宝典：数据类型与TCL脚本实战
3. **查找列表中的相同和不同元素**：在Python中，可以使用集合(set)操作来找出两个列表A和B中的相同和不同元素。相同元素通过交集操作`set(A) & set(B)`获得，不同元素则通过异或操作`set(A) ^ set(B)`找到。 此外...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值