为解决数据冗余等问题,大量的数据会分开存放在不同的文件(表格)里。在数据处理时,经常会有不同表格的数据需要进行合并操作。可以通过pandas库的merge函数和concat函数来实现数据集的合并。
1、DataFrame数据合并—merge()
1.1 简介:连接行,列数增加
根据一个或多个键将不同DataFrame中的行连接起来。
说明:类似于关系数据库的连接(join)操作、excel的vlookup
应用场景:
针对同一个主键存在两张包含不同字段的表,现在想把他们整合到一张表里。
在此典型情况下,结果集的行数并没有增加,列数则为两个元数据的列数和减去连接键的数量
例:
原有的两个DataFrame,分别为:df1;df2
![](https://i-blog.csdnimg.cn/blog_migrate/8515fcd0a772eecd9209425868cf013b.png)
合并后:按指定的键连接,列数增加,去掉了多余的键
![](https://i-blog.csdnimg.cn/blog_migrate/d8b74e731ce8faaf032ef11a908b075b.png)
1.2 格式
pd.merge(left, right, how='inner', on=None, left_on=None, right_on=None,left_index=False, right_index=False, sort=True,suffixes=('_x', '_y'), copy=True, indicator=False)
1.3 按指定的键连接
![](https://i-blog.csdnimg.cn/blog_migrate/d8b74e731ce8faaf032ef11a908b075b.png)
1.4 按索引连接
![](https://i-blog.csdnimg.cn/blog_migrate/c7dee3d91e688331a68aa78b30a28e3e.png)
1.5 按多个键连接
![](https://i-blog.csdnimg.cn/blog_migrate/c984d1fb252ccf23c4324e47d2efb299.png)
结果:
![](https://i-blog.csdnimg.cn/blog_migrate/81239dd57793569bcd616ca40aedba15.png)
1.6 参数说明
on=None 用于指定用于连接的列名(键名),如果该列在两个对象上的列名不同,则可以通过 left_on=None, right_on=None 来分别指定。
例:
![](https://i-blog.csdnimg.cn/blog_migrate/d2e32be0da5292d934ecacba9b2cab15.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6cae94d6dca6f58dc015ccf928100ea8.png)
或者想直接使用行索引作为连接键的话,就将 left_index=False, right_index=False 设为 True
例:
![](https://i-blog.csdnimg.cn/blog_migrate/9de5d5e6dd80145f2baf16b669c956e2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7ca90237f7aeb6db75a2a27450793cc8.png)
how='inner' 参数指的是当左右两个对象中存在不重合的键时,取结果的方式:inner 代表交集;outer 代表并集;left 和 right 分别为取一边。
例:
![](https://i-blog.csdnimg.cn/blog_migrate/c984d1fb252ccf23c4324e47d2efb299.png)
inner和outer分别取交集和并集
![](https://i-blog.csdnimg.cn/blog_migrate/f680cd722173bc7364e93c4f262ec788.png)
left和right分别以一边为参考合并
![](https://i-blog.csdnimg.cn/blog_migrate/524aa12e094e636a8379bf16449c4458.png)
suffixes=(‘_x’,‘_y’) 指的是当左右对象中存在除连接键外相同列名时,结果集中的区分方式,可各加一个小尾巴。
![](https://i-blog.csdnimg.cn/blog_migrate/5535c5c7fa742f749488e9089a693e39.png)
注:对于多对多连接,结果采用的是行的笛卡尔积。
2、DataFrame数据连接—concat()
2.1 简介:连接列,行数增加
可以沿着一条轴将多个对象堆叠到一起,concat函数相当于数据库中的全连接(UNION ALL)
可以指定按某个轴进行连接,也可以指定连接的方式join(outer,inner 只有这两种)。
与数据库不同的是concat不会去重,要达到去重的效果可以使用drop_duplicates方法
2.2 格式
pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False,keys=None, levels=None, names=None, verify_integrity=False,copy=True)
2.3 参数说明
轴向连接 pd.concat() 就是单纯地把两个表拼在一起,这个过程也被称作连接(concatenation)、绑定(binding)或堆叠(stacking)。
因此可以想见,这个函数的关键参数应该是 axis,用于指定连接的轴向。
![](https://i-blog.csdnimg.cn/blog_migrate/221e5eb3c3b6e5d3bd7068a62fd52440.png)
在默认的 axis=0 情况下:
pd.concat([obj1,obj2]) 函数的效果与obj1.append(obj2) 是相同的,即obj1行与obj2行的叠加;
在 axis=1 的情况下:
pd.concat([df1,df2],axis=1)和pd.merge(df1,df2,left_index=True,right_index=True,how='outer')的效果是相同的,即两个DataFrame数据的按照索引进行列的链接。
![](https://i-blog.csdnimg.cn/blog_migrate/61aef1e9b8671f51cc92953e481ec7e1.png)