Python - pandas DataFrame数据的合并与拼接（merge、join、concat）

最新推荐文章于 2025-03-17 08:15:00 发布
最新推荐文章于 2025-03-17 08:15:00 发布
阅读量10w+ 收藏 523
点赞数 154
分类专栏： 机器学习 文章标签： python 数据分析 机器学习 程序人生 经验分享
原文链接：https://www.cnblogs.com/keye/p/10791705.html
版权

目录

0 概述

Pandas包的merge、join、concat方法可以完成数据的合并和拼接。

  1. merge方法主要基于两个dataframe的共同列进行合并；
  2. join方法主要基于两个dataframe的索引进行合并；
  3. concat方法是对series或dataframe进行行拼接或列拼接。

1 merge方法

pandas的merge方法是基于共同列，将两个dataframe连接起来。merge方法的主要参数：

1.1 内连接

how=‘inner’，on=设置连接的共有列名。

# 单列的内连接
import pandas as pd
import numpy as np
# 定义df1
df1 = pd.DataFrame({'alpha':['A','B','B','C','D','E'],
					'feature1':[1,1,2,3,3,1], 
					'feature2':['low','medium','medium','high','low','high']})
# 定义df2
df2 = pd.DataFrame({'alpha':['A','A','B','F'],
				    'pazham':['apple','orange','pine','pear'],
				    'kilo':['high','low','high','medium'],
				    'price':np.array([5,6,5,7])})
# 基于共同列alpha的内连接
df3 = pd.merge(df1,df2,how='inner',on='alpha')

print(df1)
print(df2)
print(df3)

在这里插入图片描述
取共同列alpha值的交集进行连接。

1.2 外连接

在这里插入图片描述
how=‘outer’，dataframe的链接方式为外连接，我们可以理解基于共同列的并集进行连接，参数on设置连接的共有列名。

# 单列的外连接
# 定义df1
df1 = pd.DataFrame({'alpha':['A','B','B','C','D','E'],
					'feature1':[1,1,2,3,3,1], 
					'feature2':['low','medium','medium','high','low','high']})
# 定义df2
df2 = pd.DataFrame({'alpha':['A','A','B','F'],
					'pazham'['apple','orange','pine','pear'],
					'kilo':['high','low','high','medium'],
					'price':np.array([5,6,5,7])})
# 基于共同列alpha的外连接
df5 = pd.merge(df1,df2,how='outer',on='alpha')

print(df1)
print(df2)
print(df5)

在这里插入图片描述

若两个dataframe间除了on设置的连接列外并无相同列，则该列的值置为NaN。

1.3 左连接

how=‘left’，dataframe的链接方式为左连接，我们可以理解基于左边位置dataframe的列进行连接，参数on设置连接的共有列名。

# 单列的左连接
# 定义df1
df1 = pd.DataFrame({'alpha':['A','B','B','C','D','E'],
					'feature1':[1,1,2,3,3,1],
    				'feature2':['low','medium','medium','high','low','high']})
# 定义df2
df2 = pd.DataFrame({'alpha':['A','A','B','F'],
					'pazham':['apple','orange','pine','pear'],
                    'kilo':['high','low','high','medium'],
                    'price':np.array([5,6,5,7])})
# 基于共同列alpha的左连接
df5 = pd.merge(df1,df2,how='left',on='alpha')

print(df1)
print(df2)
print(df5)

在这里插入图片描述
因为df2的连接列alpha有两个’A’值，所以左连接的df5有两个’A’值，若两个dataframe间除了on设置的连接列外并无相同列，则该列的值置为NaN。

1.4 右连接

how=‘right’，dataframe的链接方式为左连接，我们可以理解基于右边位置dataframe的列进行连接，参数on设置连接的共有列名。

# 单列的右连接
# 定义df1
df1 = pd.DataFrame({'alpha':['A','B','B','C','D','E'],
					'feature1':[1,1,2,3,3,1],
					'feature2':['low','medium','medium','high','low','high']})
# 定义df2
df2 = pd.DataFrame({'alpha':['A','A','B','F'],
					'pazham':['apple','orange','pine','pear'],
					'kilo':['high','low','high','medium'],
					'price':np.array([5,6,5,7])})
# 基于共同列alpha的右连接
df6 = pd.merge(df1,df2,how='right',on='alpha')

print(df1)
print(df2)
print(df6)

在这里插入图片描述
因为df1的连接列alpha有两个’B’值，所以右连接的df6有两个’B’值。若两个dataframe间除了on设置的连接列外并无相同列，则该列的值置为NaN。

1.5 基于多列的连接算法

多列连接的算法与单列连接一致，本节只介绍基于多列的内连接和右连接，读者可自己编码并按照本文给出的图解方式去理解外连接和左连接。

多列的内连接：

# 多列的内连接
# 定义df1
df1 = pd.DataFrame({'alpha':['A','B','B','C','D','E'],
					'beta':['a','a','b','c','c','e'],
                    'feature1':[1,1,2,3,3,1],
                    'feature2':['low','medium','medium','high','low','high']})
# 定义df2
df2 = pd.DataFrame({'alpha':['A','A','B','F'],
					'beta':['d','d','b','f'],
					'pazham':['apple','orange','pine','pear'],
                    'kilo':['high','low','high','medium'],
                    'price':np.array([5,6,5,7])})
# 基于共同列alpha和beta的内连接
df7 = pd.merge(df1,df2,on=['alpha','beta'],how='inner')

print(df1)
print(df2)
print(df7)

在这里插入图片描述

多列的右连接：

# 多列的右连接
# 定义df1
df1 = pd.DataFrame({'alpha':['A','B','B','C','D','E'],
					'beta':['a','a','b','c','c','e'],
                    'feature1':[1,1,2,3,3,1],
                    'feature2':['low','medium','medium','high','low','high']})
# 定义df2
df2 = pd.DataFrame({'alpha':['A','A','B','F'],
					'beta':['d','d','b','f'],
					'pazham':['apple','orange','pine','pear'],
                    'kilo':['high','low','high','medium'],
                    'price':np.array([5,6,5,7])})
                    
# 基于共同列alpha和beta的右连接
df8 = pd.merge(df1,df2,on=['alpha','beta'],how='right')

print(df1)
print(df2)
print(df8)

在这里插入图片描述

1.6 基于index的连接方法

前面介绍了基于column的连接方法，merge方法亦可基于index连接dataframe。

# 基于column和index的右连接
# 定义df1
df1 = pd.DataFrame({'alpha':['A','B','B','C','D','E'],
					'beta':['a','a','b','c','c','e'],
                	'feature1':[1,1,2,3,3,1],
                	'feature2':['low','medium','medium','high','low','high']})
# 定义df2
df2 = pd.DataFrame({'alpha':['A','A','B','F'],
					'pazham':['apple','orange','pine','pear'],
                    'kilo':['high','low','high','medium'],
                    'price':np.array([5,6,5,7])},
                    index=['d','d','b','f'])
                    
# 基于df1的beta列和df2的index连接
df9 = pd.merge(df1,df2,how='inner',left_on='beta',right_index=True)

print(df1)
print(df2)
print(df9)

图解index和column的内连接方法：
在这里插入图片描述

设置参数suffixes以修改除连接列外相同列的后缀名。

# 基于df1的alpha列和df2的index内连接
df9 = pd.merge(df1,df2,how='inner',left_on='beta',right_index=True,suffixes=('_df1','_df2'))
print(df9)

在这里插入图片描述

2 join方法

join方法是基于index连接dataframe，merge方法是基于column连接，连接方法有内连接，外连接，左连接和右连接，与merge一致。

2.1 index与index的连接

df1 = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3', 'K4', 'K5'],
					   'A': ['A0', 'A1', 'A2', 'A3', 'A4', 'A5']})
df2 = pd.DataFrame({'key': ['K0', 'K1', 'K2'],
					   'B': ['B0', 'B1', 'B2']})

# lsuffix和rsuffix设置连接的后缀名
df3 = df1.join(df2,lsuffix='_caller', rsuffix='_other',how='inner')

print(df1)
print(df2)
print(df3)

在这里插入图片描述

2.2 join也可以基于列进行连接

df1 = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3', 'K4', 'K5'],
					   'A': ['A0', 'A1', 'A2', 'A3', 'A4', 'A5']})
df2 = pd.DataFrame({'key': ['K0', 'K1', 'K2'],
					  'B': ['B0', 'B1', 'B2']})
					  
# 基于key列进行连接
df3 = df1.set_index('key').join(df2.set_index('key'),how='inner')

print(df1)
print(df2)
print(df3)

在这里插入图片描述

3 concat方法

concat方法是拼接函数，有行拼接和列拼接，默认是行拼接，拼接方法默认是外拼接（并集），拼接的对象是pandas数据类型。

3.1 series类型的拼接方法

行拼接

df1 = pd.Series([1.1,2.2,3.3],index=['i1','i2','i3'])
df2 = pd.Series([4.4,5.5,6.6],index=['i2','i3','i4'])
print(df1)
print(df2)

# 行拼接
df3 = pd.concat([df1,df2])

print(df1)
print(df2)
print(df3)

在这里插入图片描述

行拼接若有相同的索引，为了区分索引，我们在最外层定义了索引的分组情况。

# 对行拼接分组
pd.concat([df1,df2],keys=['fea1','fea2'])

在这里插入图片描述
在这里插入图片描述

列拼接

默认以并集的方式拼接：

# 列拼接,默认是并集
pd.concat([df1,df2],axis=1)

在这里插入图片描述
在这里插入图片描述

以交集的方式拼接：

# 列拼接的内连接（交）
pd.concat([df1,df2],axis=1,join='inner')

在这里插入图片描述
在这里插入图片描述

设置列拼接的列名：

# 列拼接的内连接（交）
pd.concat([df1,df2],axis=1,join='inner',keys=['fea1','fea2'])

在这里插入图片描述
在这里插入图片描述

对指定的索引拼接：

# 指定索引[i1,i2,i3]的列拼接
pd.concat([df1,df2],axis=1,join_axes=[['i1','i2','i3']])

在这里插入图片描述
在这里插入图片描述

3.2 dataframe类型的拼接方法

行拼接

df1 = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3', 'K4', 'K5'],
					'A': ['A0', 'A1', 'A2', 'A3', 'A4', 'A5']})
df2 = pd.DataFrame({'key': ['K0', 'K1', 'K2'],
					'B': ['B0', 'B1', 'B2']})

# 行拼接
df3 = pd.concat([df1,df2])

print(df1)
print(df2)
print(df3)

在这里插入图片描述

列拼接

# 列拼接
pd.concat([df1,df2],axis=1)

在这里插入图片描述
在这里插入图片描述

若列拼接或行拼接有重复的列名和行名，则报错：

# 判断是否有重复的列名，若有则报错
pd.concat([df1,df2],axis=1,verify_integrity = True)

ValueError: Indexes have overlapping values: ['key']

原文链接: link.

Python DataFrame数据合并 merge()、concat()方法（Pandas篇-21）
侯小啾技术博客
03-11 2万+
`merge()`方法与`concat()`方法是`pandas`中常用的数据合并方法。 通过对这两个方法的应用，可以实现按照一定更多标准讲多个`DataFrame`对象合并为一个`DataFrame`对象。
一文速学(三)-Pandas数据分析之DataFrame多表合并拼接函数concat、merge参数详解+代码操作展示
master_hunter的博客
04-11 1万+
前言 此篇文章接上两篇基础篇章： 一文速学-数据分析之Pandas数据结构和基本操作代码 DataFrame行列表查询操作详解+代码实战 第一章详细介绍了Series和DataFrame作为两种Pandas基本数据结构中的创建、转换和操作。第二章则详细介绍DataFrame行列表查询操作。本打算把DataFrame行列表操作一章讲清楚但是可能看起来的话会很多不容易一下记住，故分为两篇好区分记忆得更加清楚。
Python数据分析笔记_第9天（pandas）
weixin_44454872的博客
03-16 224
文章目录数据合并join横向合并merge字段匹配数据分组 数据合并 join横向合并 df1.join(df2)，数据无匹配按行横向拼接。按df1的行索引，行索引相同的数据横向合并到一起，当df2匹配不到是则填充nan（df1与df2列索引名无重复）。 import numpy as np import pandas as pd d1 = pd.DataFrame(np.zeros((2, 5)), index=list('AB'), columns=list('cdefg')) d2 = pd.Dat
Pandas中的DataFrame格式数据详细使用教程
最新发布
呱牛 Just do IT
03-17 1901
在Python中，pandas 是一个强大的数据处理库，广泛应用于数据分析和操作结构化的数据。其中，DataFrame 是 pandas 中的核心数据结构之一，类似于一张二维表格，能够高效地存储和处理各种数据。
python合并相关函数（concat、merge、append、join）
m0_46411851的博客
08-31 1653
在python表格操作过程中常涉及到，表格相互拼接和合并问题。pandas模块为我们提供了很强大的合并功能，常用的方法有concat, append, merge, join。
Pandas数据合并：concat、merge和join。两个DF怎么JOIN，DF怎么Merge
alike_u的博客
03-30 1726
在数据处理中，经常需要将多个数据集合并成一个数据集。Pandas提供了三种方法：concat、merge和join。
pandas中DF拼接：concat，merge，join，append方法区别
Lian_Ge_Blog的博客
03-10 1万+
pandas中DF拼接：concat，merge，join，append方法区别
【python】pandas:DataFrame合并技巧详解
MAOZI8的博客
06-17 4773
本文介绍了Pandas库中DataFrame合并的几种常用方法，包括基于键的合并（merge）、沿着轴合并（concat）、基于索引的合并（join）以及追加行（append）。本文将详细介绍Pandas库中DataFrame合并的几种常用方法，包括基于键的合并（merge）、沿着轴合并（concat）、基于索引的合并（join）以及追加行（append）。基于键的合并是最常用的DataFrame合并方法之一。它类似于SQL中的JOIN操作，可以根据两个DataFrame之间的共同列（键）进行合并。
【pandas】[3] DataFrame 数据合并，连接（merge,join,concat)
热门推荐
LiangHC
05-25 34万+
作者：lianghc 连接：http://blog.csdn.net/zutsoft/article/details/51498026 merge  通过键拼接列 pandas提供了一个类似于关系数据库的连接(join)操作的方法merage,可以根据一个或多个键将不同DataFrame中的行连接起来 语法如下： merge(left, right, how='inner', on=No...
【数据处理包Pandas】DataFrame对象的合并
Morse_Chen的博客
04-05 5302
本文讲解数据处理包Pandas，围绕DataFrame对象的合并，包括concat、append、merge和join四种方法。
DataFrame系列3之Pandas.DataFrame操作表连接三种方式：merge, join, concat
J小白的博客
04-16 2472
目录 1.concat 2.JOIN 3.merge 作为DataFrame系列的第三部分，主要是对两个DataFrame之间的关联进行介绍。 以下面两个DataFrame为例进行语法的介绍： df_1 = pd.read_csv('D:/traindatas/map_1.csv', sep=',', header='infer') # 测试集 df_2 = pd...
dataframe 横向拼接,DataFrame 数据合并(merge，join，concat)
weixin_35219046的博客
03-12 2422
DataFrame 数据合并(merge，join，concat)mergemerge 函数经过一个或多个键将数据集的行链接起来。场景：针对同一个主键存在的两张包含不一样特征的表，经过主键的连接，将两张表进行合并。合并以后，两张表的行数不增长，列数是两张表的列数之和。webdef merge(left, right, how='inner', on=None, left_on=None, righ...
DataFrame 数据合并实现(merge，join，concat)
09-16
主要介绍了DataFrame 数据合并实现(merge，join，concat)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
pandas dataframe的合并实现（append, merge, concat）
12-26
创建2个DataFrame： >>> df1 = pd.DataFrame(np.ones((4, 4))*1, columns=list('DCBA'), index=list('4321')) >>> df2 = pd.DataFrame(np.ones((4, 4))*2, columns=list('FEDC'), index=list('6543')) >>> df3 = pd...
python DataFrame数据合并 merge()、concat()方法
2401_84010457的博客
04-20 1179
外链图片转存中…(img-KvGWYHvw-1713603818734)][外链图片转存中…(img-2KqKAGtX-1713603818734)][外链图片转存中…(img-FQv1sXYi-1713603818735)]
python学习 --DataFrame连接: merge、concat、join、append
m0_60392490的博客
11-09 6042
目录 1、pd.merge(left, right, how='inner') 2、pd.concat([left,right],axis=1,join='inner’) a、根据行索引进行连接（两表所有列横向堆叠） b、根据列索引进行连接（两表所有行纵向堆叠） 3、df_left.join(df_right) a、根据行索引进行连接（两表所有列横向堆叠） b、根据列索引进行连接（两表所有列横向堆叠） 4、df.append([df1, df2...]) a、添加DataFrame表 b
dataframe 合并
hellocsz的博客
01-18 2263
merge  通过键拼接列 pandas提供了一个类似于关系数据库的连接(join)操作的方法merage,可以根据一个或多个键将不同DataFrame中的行连接起来 语法如下： merge(left, right, how='inner', on=None, left_on=None, right_on=None,       left_index=False, right_index=Fa...
python dataframe join
chinacmt的博客
08-12 1万+
**用Dataframe实现SQL中的inner join, left join, right join 首先准备二张表,df1, df2**import pandas as pd df1 = pd.DataFrame([{'col1':'a', 'co12':1}, {'col1':'b', 'co12':2}]) df2 = pd.DataFrame([{'col1':'a', 'co13':
Pandas中DataFrame数据合并、连接（concat、merge、join）
象在舞的技术专栏
06-23 17万+
最近在工作中，遇到了数据合并、连接的问题，故整理如下，供需要者参考~一、concat：沿着一条轴，将多个对象堆叠到一起 concat方法相当于数据库中的全连接（union all），它不仅可以指定连接的方式（outer join或inner join）还可以指定按照某个轴进行连接。与数据库不同的是，它不会去重，但是可以使用drop_duplicates方法达到去重的效果。concat(...
Execution failed for task ':app:shrinkReleaseRes'.
01-11
### 构建任务失败解决方案 当遇到 `Execution failed for task ':app:shrinkReleaseRes'` 错误时，这通常意味着资源压缩过程中出现了问题。此错误可能由多种原因引起，包括但不限于配置不正确、依赖冲突或特定于项目的其他因素。 #### 可能的原因分析 1. **ProGuard 或 R8 配置不当** ProGuard 和 R8 是用于优化和混淆代码以及减少 APK 大小的工具。如果这些工具的配置存在问题，可能会导致资源无法正常处理[^1]。 2. **重复资源** 如果项目中有多个模块定义了相同的资源名称，可能导致冲突并引发该错误。检查是否存在重名的 drawable、string 等资源文件[^2]。 3. **第三方库兼容性** 某些第三方库可能与当前使用的 Gradle 插件版本或其他库存在兼容性问题，从而影响到资源打包过程中的行为[^3]。 4. **Gradle 缓存问题** 有时旧缓存数据会干扰新编译的结果，尝试清理本地仓库和重新同步项目可以帮助排除此类潜在障碍[^4]。 #### 推荐的操作方法 为了有效解决问题，建议按照以下步骤逐一排查： ```bash # 清理项目构建目录 ./gradlew clean # 删除 .gradle 文件夹下的所有内容以清除缓存 rm -rf ~/.gradle/caches/ ``` 调整 `build.gradle` 中的相关设置也是一个重要环节： ```groovy android { ... buildTypes { release { minifyEnabled true // 是否启用代码缩减 shrinkResources true // 是否开启资源压缩 proguardFiles getDefaultProguardFile('proguard-android-optimize.txt'), 'proguard-rules.pro' // 尝试禁用 shrinkResources 来测试是否为资源压缩引起的错误 // shrinkResources false } } } ``` 此外，在 `proguard-rules.pro` 文件内添加必要的保留规则，防止关键类被意外移除: ```text -keep class com.example.yourpackage.** { *; } # 替换为你自己的包路径 -dontwarn androidx.**,com.google.** # 忽略警告信息 ``` 最后，确保所使用的 Android Studio 版本是最新的稳定版，并且已经应用了所有的补丁更新。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值