【文末送书】DataFrame数据合并

向阳花花花花 - 个人主页

迄今所有人生都大写着失败,但并不妨碍我继续向前

Python 数据分析专栏  正在火热更新中 🔥


一、concat

pd.concat() 函数可以沿着指定的轴将多个 dataframe 或者 series 拼接到一起,这一点和另一个常用的 pd.merge() 函数不同,pd.merge()函数只能实现两个表的拼接。

concat 默认是上下合并,下面讲解该函数的常用参数。

参数作用
axis控制轴,值为0为横轴,1为纵轴
ignore_index忽略行索引,将行索引重置(0-N-1)
keys设置多层索引
joinjoin=outer,相当于取并集,补NaN模式,是默认模式;join=inner,相当于取交集,只连接匹配的项

首先导入包:

import numpy as np
import pandas as pd

定义一个返回 dataframe 对象的函数:

def make_df(indexs,columns):
    data = [[str(j)+str(i) for j in columns] for i in indexs]
    df = pd.DataFrame(data=data,index=indexs,columns=columns)
    return df

获取两个 dataframe 对象:

df1 = make_df([1,2],['A','B'])
df2 = make_df([3,4],['A','B'])
display(df1,df2)

展示 df1 和 df2 :

将 df1 和 df2 使用 concat 合并:

pd.concat([df1,df2])

得到如下结果:

使用 axis 控制合并方向:

pd.concat([df1,df2],axis=1)

得到如下结果:

使用 ignore_index 重置索引:

pd.concat([df1,df2],ignore_index=True)

运行结果如下:

使用 keys 设置多层索引:

pd.concat([df1,df2],keys=['one','two'])

结果如下:

为了演示 join 参数,重新构建两个 dataframe 对象,演示结果如下。

构建两个 dataframe 对象:

df1 = make_df(indexs=[1,2,3],columns=['A','B','C'])
df2 = make_df(indexs=[2,3,4],columns=['B','C','D'])
display(df1,df2)

展示 df1 和 df2 :

外连接:

pd.concat([df1,df2],join='outer',sort=True)

得到如下结果:

其中,sort = True 是为了解决如下警告而添加的:


内连接:

pd.concat([df1,df2],join='inner')

结果如下:

二、append

pd.append() 函数专门用于在 dataframe 对象后 添加新的行,如果添加的列名不在 dataframe 对象中,将会被当作新的列进行添加。

还是使用上面的 df1 和 df2 对象,先查看一下:

display(df1,df2)


然后使用 append 追加:

df1.append(df2,sort=True)

结果如下:

三、merge

pd.merge() 的使用需要分 3 种情况讨论:当需要合并的两个 dataframe 对象,没有属性相同时,只有一个属性相同时,有多个属性相同时。

3.1 没有属性相同时

如果两个 dataframe 对象没有相同的属性,则需要使用 left_onright_on 分别来指定2个表中不同列作为连接的字段。

首先构建两个 dataframe 对象:

df1 = pd.DataFrame({
    'name':['张三','李四','王五'],
    'id':[1,2,2],
    'age':[22,33,44]
})
df2 = pd.DataFrame({
    'sex':['男','女','男'],
    'job':['Saler','CEO','Programmer']
})
display(df1,df2)

展示 df1 和 df2 结果如下:


可以看到两个 df 对象没有相同字段,下面使用 merge 连接:

df1.merge(df2,left_on='id',right_index=True)

注意:要合并的两个列,必须要有相同的值才能合并,否则报错,下面是错误示例:

df1.merge(df2,left_on='name',right_on='sex')

报错部分截图如下:

也可以使用行索引作为连接的字段:left_index=True 左表使用行索引作为连接字段,right_index=True 右表使用行索引作为连接字段。

3.2 只有一个属性相同时

只有一个属性列相同时,也分为三种情况,分别是一对一合并,一对多合并,多对多合并。

1.一对一合并

当属性值在一个 dataframe 对象中不重复时,为一对一合并。

首先构建两个 dataframe 对象:

df1 = pd.DataFrame({
    'name':['张三','李四','王五'],
    'id':[1,2,3],
    'age':[22,33,44]
})
df2 = pd.DataFrame({
    'id':[2,3,4],
    'sex':['男','女','男'],
    'job':['Saler','CEO','Programmer']
})
display(df1,df2)

查看 df1 和 df2 :


两个 dataframe 对象,只有一个相同的属性列 id ,并且两个 df 对象的 id 列都是唯一的,不重复。

下面使用 merge 合并:

df1.merge(df2)

结果如下:

2.一对多合并

当属性值在一个 dataframe 对象中有两个或以上相同值时,为一对多合并。

重新构建两个 dataframe 对象:

df3 = pd.DataFrame({
    'name':['张三','李四','王五'],
    'id':[1,2,2],
    'age':[22,33,44]
})
df4 = pd.DataFrame({
    'id':[2,3,4],
    'sex':['男','女','男'],
    'job':['Saler','CEO','Programmer']
})
display(df3,df4)

查看 df3 和 df4 :

可以看到,两个 dataframe 对象,只有一个相同的属性列 id,并且只有 df3 的 id 有重复值。

下面使用 merge 合并:

df3.merge(df4)

得到如下结果:

3.多对多合并

两个 dataframe 对象同一个属性都有两个或以上相同值,为多对多合并。

重新构建两个 dataframe 对象:

df5 = pd.DataFrame({
    'name':['张三','李四','王五'],
    'id':[1,2,2],
    'age':[22,33,44]
})
df6 = pd.DataFrame({
    'id':[2,2,4],
    'sex':['男','女','男'],
    'job':['Saler','CEO','Programmer']
})
display(df5,df6)

查看 df5 和 df6 :

可以看到,两个 dataframe 对象,只有一个相同的属性列 id,并且 df5 和 df6 的 id 均有重复值。

下面使用 merge 合并:

df5.merge(df6)

得到如下结果:

3.3 有多个属性相同时

如果不止一个属性相同,那么merge合并,只有多个属性值相同才能合并,否则报错;
此时需要使用参数 on 指定一个属性作为连接的字段。

重新构建两个 dataframe 对象:

df1 = pd.DataFrame({
    'name':['张三','李四','王五'],
    'id':[1,2,2],
    'age':[22,33,44]
})
df2 = pd.DataFrame({
    'id':[2,3,4],
     'age':[2,3,4],
    'job':['Saler','CEO','Programmer']
})
display(df1,df2)

查看 df1 和 df2:

可以看到,两个 df 对象有两个相同的列 idage,如果我们直接合并:

df1.merge(df2)

会报如下错误(只截取部分):


此时,需要使用 on 参数指定连接的属性,这里指定 id 为连接属性:

df1.merge(df2,on='id')

查看结果:

因为 age 字段重复了,所以 pandas 自动给 age 用 _x _y 的形式区分开来了,我们可以通过 suffixes 属性指定重复时的后缀名。

df1.merge(df2,on='id',suffixes=['_1','_2'])

结果如下:

3.4 merge连接模式

merge 连接模式类似于关系型数据库表的连接方式,包括内连接(交、how = inner)、外连接(并,how = outer)、左外连接(how = left)、右外连接(how = right)。通过 how 属性可以指定连接模式,默认是外连接。

首先构建两个 dataframe 对象:

df5 = pd.DataFrame({
    'name':['张三','李四','王五'],
    'id':[1,2,2],
    'age':[22,33,44]
})
df6 = pd.DataFrame({
    'id':[2,2,4],
    'sex':['男','女','男'],
    'job':['Saler','CEO','Programmer']
})
display(df5,df6)

查看 df5 和 df6 :

外连接:

df5.merge(df6,how='outer')


内连接:

df5.merge(df6,how='inner')

左外连接:

df5.merge(df6,how='left')

右外连接:

df5.merge(df6,how='right')

由于篇幅原因,这里不再演示每一个的结果,大家可以自己动手实践。

结语

本文主要带大家了解 pandas 中的数据合并3个函数,在后面的学习中会经常使用到。


您的支持是我创作的动力

希望我的文章能成为您的有用参考

我会继续改进和分享更好的内容


🔥 如果文中有些地方不清楚的话,欢迎联系我,我会给大家提供思路及解答。🔥

文章直达链接
上期回顾【数据分析 - 基础入门之pandas篇③】- pandas数据结构——DataFrame
下期预告【数据分析 - 基础入门之pandas篇⑤】- pandas 数据清洗

文末送书

这是博主第一次开展送书活动,是和出版社谈了好久才谈成的给予粉丝的福利。

《Python从入门到精通》(第三版)是“软件开发视频大讲堂”丛书中的三剑客之一,代码基于Python 3.11,涵盖语言新特性,如:match…case语句、类型联合运算符、异步编程等。

本书配套了41小时同步微课视频,让学习更轻松);127个实例,随学随练;还有32个“实践与练习”,可以帮助我们巩固所学技能;还有Python六大热门应用方向,每个方向都在剖析技术储备之后设计并实现对应的热门项目,具体包括游戏开发与项目、爬虫开发与项目、数据可视化与项目、Web开发与项目、Python自动化办公、人工智能初探,可使读者将所学的Python基础知识与当前的Python开发热点无缝对接,成就Python开发无限可能;更有在线开发资源库,随查随用,可以快速提升编程水平和解决实际问题的能力。

京东购买链接:点我去往京东购买

  • 本次送书一本
  • 活动时间:截止到2023年7月25日
  • 参与方式:关注博主、点赞、收藏并评论 “人生苦短,我用Python
  • 抽奖方式:利用程序产生随机数,对应哪条评论即为中奖
  • 如何查看自己是否获奖:如果获奖我会私信你们哟,记得关注我,不然中奖了联系不上!

本期获奖名单公示:BohumLee

  • 98
    点赞
  • 98
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 174
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 174
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

向阳花花花花

感谢大佬支持,本人会继续努力哒

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值