concat函数_pandas数据合并之一文弄懂pd.concat()

在工作中经常会遇到多个表进行拼接合并的需求,在pandas中有多个拼接合并的方法,每种方法都有自己擅长的拼接方式,这篇文章只对pd.concat()进行详细讲解,希望能帮助有需要的朋友一次彻底弄清楚它的用法。

pd.concat()函数简介

pd.concat()函数可以沿着指定的轴将多个dataframe或者series拼接到一起,这一点和另一个常用的pd.merge()函数不同,pd.merge()函数只能实现两个表的拼接。文章的主题是pd.concat()函数,接下来认识一下这个函数吧:

pd.concat( objs, axis=0, join='outer', join_axes=None, ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False, sort=None, copy=True, )

以上是有关pd.concat()函数的所有参数,接下来通过例子对常用参数进行讲解。

参数objs和 ignore_index

假设有两张来自两个分公司的表格,一般这种情况下两个表的格式是相同的,但是记录不一样,也就是列名一样行索引不一样,这种情况是pd.concat()很擅长的。

0455cb0b2884bbb1fd01c0fc837843c9.png

ba93c9bc000f9deef90fb8e0a4cc7cb3.png

这两个表进行拼接,直接把两个表的名字丢给pd.concat()函数,这里需要注意的一点,函数有且仅有一个参数objs接收需要拼接的表格,所以需要把表名打包到一起作为一个参数传递给函数

96685fd306dbc345eb0c9c6afca71cb5.png

拼接后能够看到索引有点奇怪,因为拼接后的表格保留了两个原表的索引,所以索引不连续且有重复,这种时候就需要另一个参数ignore_index出马了,这个参数的意思是在询问要不要忽视掉原表格的索引,默认是保留原表索引,只要设置成Ture,告诉函数忽视原表索引就可以了,来看下效果:

423e63d534258af70f1aa51a538531dc.png

和上一个拼接结果相比是不是顺眼很多了?其实对索引的控制除了ignore_index参数,还有另一个参数,与ignore_index参数相比,出场次数不是很多,就是verify_integrity参数。

参数verify_integrity

这个参数是对重复索引的限制,默认是不限制的,如果设置verify_integrity=True,如果拼接的多个表中有相同的索引,会报错。

来个例子看下,设置用来拼接的两个表有重复索引:

ab152fe7727a68f32caf51fcfd99f720.png

verify_integrity默认为False,不限制是否有重复索引:

1bc2e130149b180d7c9be2d0df3dcd1f.png

其实这样是有隐患的,因为出现重复索引标签,会对选取数据带来不方便,除了ignore_index忽视掉原索引,这个参数也可以避免这种情况:

74c9a472794e81cbede6295693839caa.png

设置verify_integrity=True,两个表中出现重复索引,拼接不成功并报错。

参数axis

假设有两个来自不同部门的表格,一个来自销售部门,一个来自人力部门,这两个表一般会有一两个相同的列,大多数列名不同,但是行索引相同,因为是对同一批人不同信息的统计。

来看个例子:

1320f5df3161ef145293f2ea89d04275.png

来自销售部门的表df_s

a4873b8db9c07dffda6963778737b934.png

来自人力部门的表df_h

通过上边的例子,能够看出在函数pd.concat()中的默认拼接方式是上下堆叠,而销售和人力的表格很明显需要左右拼接,这时候就需要参数axis出场了:

78f9181326d3c2b07ee5bb9bfac41493.png

keys和names

当表格拼接完成后,就不能判断到底哪些数据是来自于哪一个表了,如果需要保留来源信息,就可以通过keys参数进行设置,而names参数可以给拼接后形成的数据结构添加名字。

来,看代码:

cf2cc47255a370f4b0d88d762411606e.png

这是上下拼接情况下标记每条记录来自于哪个表,添加名字说明

b009808469be025b42af1770d67b9dad.png

这是左右拼接情况下标记每条记录来自于哪个表,添加名字说明

参数join和join_axes

前边的代码中对这两个参数都没有进行设置,其中join参数控制的是外连接还是内连接,默认外连接,保留两个表中的所有信息;如果设置成内连接,拼接结果只保留两个表共有的信息,而join_axes参数是在内连接时选择要完整保留哪个表的索引,但是这个参数在官方文档中提醒即将被弃用,所以不做详细讲解,只看一下join参数的表现吧:

c61348884805d7548c94714d35d11958.png

这两个表有部分相同的列名和部分相同的行索引,来对这两个表进行两个方向的拼接,设置join=“inner”后查看下效果:

262bd46458777ec0b01a3c2c6a747629.png

上下拼接的时候,保留了共有的列信息!

ef84c757bae33bfceb915a83873eae04.png

左右拼接的时候保留了共有的行信息!

参数sort:

布尔值,默认值无

  • 当“ join”为“ outer”时,如果有未对齐的轴,则对轴信息进行排序。 当前默认的排序默认值已弃用,在以后的pandas版本中将更改为不排序。
    显式传递``sort = True''使警告和排序保持沉默。
    显式传递``sort = False''以使警告静音而不进行排序。
  • 当“join ='inner'”已经保留了非串联轴的顺序时,这个命令无效。

如下图,默认上下拼接,不进行sort参数设置会跳出警告,并且能看到列名已经被重新排序了:

68f08639a3b4bef30d19d71724471591.png

设置sort=True,使警告沉默但是依然会被重新排序:

9a30d720a38e811597885f328e0059fd.png

设置sort = False,使警告沉默并且不会被重新排序:

823aa6c62030ed8219c415904121d4fc.png

其他参数

levels:序列列表,默认值无。用于构建MultiIndex的特定级别(唯一值)。否则,它们将从键推断。

copy:bool,默认为True,如果为False,则不要不必要地复制数据。

这两个参数不是很常用,这里不多做介绍了。通过这篇文章有没有对pd.concat()函数有更深的认识?

  • 1
    点赞
  • 0
    评论
  • 1
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

表情包
插入表情
评论将由博主筛选后显示,对所有人可见 | 还能输入1000个字符
©️2021 CSDN 皮肤主题: 1024 设计师:白松林 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值