pandas 求两个文件的交集

已于 2023-06-06 16:17:17 修改
阅读量735 收藏 3
点赞数
分类专栏： pandas 文章标签： 数据分析
于 2021-03-18 19:57:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MusicDancing/article/details/114989085
版权

1.

df1 = pd.read_csv('aa.txt')
df1.columns = ['id', 't1', 't2']
df2 = pd.read_csv('bb.txt')
df = df1[df1['id'].isin(df2['id'])]
print('join_set_rate = %.6f' % (len(df) / len(df1)))

MusicDancing
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python实现求两个csv文件交集的方法
09-21
主要介绍了Python实现求两个csv文件交集的方法,涉及Python针对csv文件的读取、遍历、判断等相关操作技巧,需要的朋友可以参考下
pandas: DataFrame 交集并集补集
qq_40981268的博客
01-06 1万+
对于colums都相同的dataframe做过滤的时候 例如： df1 = DataFrame([['a', 10, '男'], ['b', 11, '男'], ['c', 11, '女'], ['a', 10, '女'], ['c', 11, '男'...
Pandas中两个dataframe的交集和差集
热门推荐
ljp1919的专栏
07-06 6万+
创建测试数据： import pandas as pd import numpy as np #Create a DataFrame df1 = { 'Subject':['semester1','semester2','semester3','semester4','semester1', 'semester2','semester3'], 'Score':[62,47,55,74,31,77,85]} df2 = { 'Subject':['s
pandas中两个dataframe的交集和差集
studyvcmfc的专栏
10-27 1050
Pandas中两个dataframe的交集和差集_ljp1919的专栏-CSDN博客_pandas 差集
pandas 求区间的交集
weixin_47370009的博客
10-28 658
分析，先将区间表示出来，实现上可以用interval，不过更方便的是借助portion库：pip install portion。如上图，a=[12,19],b=[5,18],c=[19,20]，需求为求两两之间的交集范围，返回交集的区间。这样就完成了实现了需求。
Python pandas用法最全整理
01-20
- `pd.merge(df, df1, how='inner')` 内连接，返回两个DataFrame的交集。 - `pd.merge(df, df1, how='left')` 左连接，保留df的所有行。 - `pd.merge(df, df1, how='right')` 右连接，保留df1的所有行。 - `pd....
这是一个普普通通医学生寻找两个文件的相同基因（交叉基因）的脚本
04-21
原理：查找两个文件的交集 需要提供两个文件： 1、需要查找的基因的文件,格式为‘.xlsx’ (因为要求不多，就做得糙了点） 2、需要找寻的数据库（or 另一个基因集），文件格式为‘.csv’ 基本配置——python以及...
Python将一个CSV文件里的数据追加到另一个CSV文件的方法
12-24
例如，你可以使用`pd.merge()`来实现特定条件下的合并，或者使用`set`操作（如`intersection()`, `difference()`, `union()`)来找到两个数据集的交集、差集或并集。 总的来说，Python的CSV处理能力强大且灵活，无论...
提取excel 数据 合并两个excel 相同部分，含代码
01-09
现在假设你有两个Excel文件，分别为"A.xlsx"和"B.xlsx"，我们可以读取这两个文件： ```python df_A = pd.read_excel('A.xlsx') df_B = pd.read_excel('B.xlsx') ``` 在处理Excel数据时，我们通常会遇到需要合并...
比较任意2个csv任意列
09-18
这是因为即使两个文件有完全相同的数据，如果顺序不同，也会被视为不匹配。 4. **列比较**：执行实际的列比较。可以使用`equals()`方法检查两个DataFrame是否完全相等，或者使用`eq()`（等于）、`ne()`（不等于）等...
pandas进行数据的交集与并集方式的数据合并方法
09-20
今天小编就为大家分享一篇pandas进行数据的交集与并集方式的数据合并方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pandas取交集、并集、差集
llf_cloud的博客
06-16 4004
前堤条件：对于colums都相同的dataframe做过滤的时候 创建2个结构（列名）一致的DataFrame,df1和df2有1条重合的数据 >>> import pandas as pd >>> >>> df1=pd.DataFrame([['a',10,'男'],['b',11,'女']],columns=['name','age','gender']) >>> >>> df2=pd.DataFrame([['a
Pandas
zhaohaibo的博客
08-08 1058
Pandas 基础 Pandas中的一维数组：Series data = pd.Series([0.25, 0.5, 0.75, 1.0]) >>> data: 0 0.25 1 0.50 2 0.75 3 1.00 dtype: float64 >>> data.values # 返回numpy中的结构 array([0...
Python：利用pandas对两个dataframe数据进行左联接/左关联(以左边为主体)、右联接/右关联(以右边为主体)、内联接(取交集)、外联接(取并集)操作案例实现代码
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
03-08 4453
​ Python：利用pandas对两个dataframe数据进行左联接/左关联(以左边为主体)、右联接/右关联(以右边为主体)、内联接(取交集)、外联接(取并集)操作案例实现代码 目录 join、left join和right join之间区别 左联接/左关联(以左边为主体)、右联接/右关联(以右边为主体)、内联接(取交集)、外联接(取并集)操作案例 join、left join和right join之间区别 Database之SQLSever：SQL命令实现查询之多表查询、嵌套查询、分页复杂
Python 对比两个电子表格数据的交集
chinacnd的博客
06-26 924
思路很简单，首先是将两个电子表格中需要对比的数据读取出来，默认读取出来的数据是元祖，求交集最好的方式是把数据转换为集合，然后直接用交集运算符‘&’进行交集运算。再将运算好的数据转换为列表写入电子表格中，最后保存。文件目录：D:\python\doc下面有多个文件夹，每个文件夹下面有一个文件；现在需要每个文件与D:\python\data.xlsx逐个交集。每个交集生成一个电子表格保存到一个目录里面代码如下：......
利用pandans获取两张excel指定列的交集
kinghuahua
09-16 1942
需求：txt.xlsx 有效数据无ID，oldtxt.xlsx所有数据包括txt.xlsx的手机号且对应ID。需要比对两个文件的列，获取交集的ID集合 oldtxt.xlsx 约100万条数据 txt.xlsx 约两万条数据 利用pandas的merge快速获取目标数据的ID，最终安装需要的结构拼接写入文本或者数据库。代码如下： import pandas as pd import xlrd i...
pandas进行数据的交集与并集方式的数据合并
小灰笔记
04-16 3万+
数据合并有多种方式，其中最常见的应该就是交集和并集的求取。之前通过分析总结过pandas数据merge功能默认的行为，其实默认下求取的就是两个数据的“交集”。 有如下数据定义： In [26]: df1 Out[26]:     data1 key 0      0   b 1      1   b 2      2   a 3      3   c 4      4   a
pandas中series求交集
weixin_30532987的博客
07-11 1796
在进行数据探索的时候会遇到求交集的情况，比如说：优惠卷预测的时候，有多张表，表1有用户id，表2也有用户id，但是不能确定表1的用户有多少出现在表2当中。 un_id1，un_id2 为两个 Series 对象： un_id1 = set(un_id1)un_id2 = set(un_id2)tmp = un_id1.intersection(un_id2)len(tmp) 即可求出交集的个...
python 两个列表的差集、交集、并集
学习python
08-23 3万+
工作是对数据的处理，所以工作中难免会遇到求两个列表的交集，差集，并集之类的操作，现在将这类操作总结如下： 首先，求差集的操作 a_list = [1, 2, 3, 4, 5] b_list = [1, 4, 5] ret_list = list(set(a_list)^set(b_list)) print(ret_list) 上面这个方法求出的是对称差集，就是不会同时存在于两个列表中的元素...
pandas数据合并中的文件合并
最新发布
03-29
在pandas中，文件合并可以通过concat()、merge()或join()等方法实现。这些方法的具体使用方法如下： 1. concat()方法：用于沿着一个轴将多个对象堆叠在一起。它可以按行或列方向进行合并。用法如下： ```python import pandas as pd # 读取多个csv文件 df1 = pd.read_csv('file1.csv') df2 = pd.read_csv('file2.csv') df3 = pd.read_csv('file3.csv') # 沿着行方向合并 result = pd.concat([df1, df2, df3], axis=0) # 沿着列方向合并 result = pd.concat([df1, df2, df3], axis=1) ``` 2. merge()方法：用于按照指定的列或索引进行连接操作。可以连接多个DataFrame，也可以连接两个DataFrame。用法如下： ```python import pandas as pd # 读取两个csv文件 df1 = pd.read_csv('file1.csv') df2 = pd.read_csv('file2.csv') # 按照指定的列进行连接 result = pd.merge(df1, df2, on='key', how='inner') ``` 3. join()方法：用于按照索引进行连接操作。可以连接多个DataFrame，也可以连接两个DataFrame。用法如下： ```python import pandas as pd # 读取两个csv文件 df1 = pd.read_csv('file1.csv', index_col='index') df2 = pd.read_csv('file2.csv', index_col='index') # 按照索引进行连接 result = df1.join(df2, how='inner') ``` 其中，how参数表示连接方式，inner表示取交集，outer表示取并集，left表示取左表中的所有数据，right表示取右表中的所有数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值