Pandas知识点-合并操作merge

Pandas知识点-合并操作merge

merge()方法是Pandas中的合并操作，在数据处理过程中很常用，本文介绍merge()方法的具体用法。

一、基础合并操作

merge(left, right): 将两个DataFrame或Series合并到一起。left和right参数是必传参数，分别传入一个DataFrame或Series对象，合并的顺序与传入的顺序一致。从参数名left和right可以看出，merge()方法主要用于按列合并(横向合并)。

原理如下：

merge()方法也可以实现按行合并(纵向)的效果，需要两个DataFrame的列名完全一样，且要指定合并方式为outer。

如果两个DataFrame的列名完全相同，使用outer合并方式，效果是将两个DataFrame按行合并到一起。merge()默认的合并方式是inner(取交集)，列名完全相同时取交集合并的结果是空DataFrame。

原理如下：

其实，此时合并的原理也是按列合并，特殊的是两个DataFrame中列名完全一样，且没有指定on参数。merge()方法自动将所有列同时作为连接列，合并时取并集，所有的连接列在结果中都返回了，得到的效果就与按行合并一样。(理解how参数和on参数后就会明白，下文马上介绍)。

二、连接方式

how: 指定合并时使用的连接方式，连接方式有四种，默认为inner。

inner	内连	取key列的交集
outer	外连	取key列的并集
left	左连	使用左边df的key列
right	右连	使用右边df的key列

三、指定连接的列

on: 指定合并时用于连接(外连，内连，左连，右连)的列。默认为None，merge()方法自动识别两个DataFrame中名字相同的列，作为连接的列，如本文前面的例子中没有指定on参数，也自动识别了相同的列作为连接列。

合并时，先找到两个DataFrame中的连接列key，然后将第一个DataFrame中key列的每个值依次与第二个DataFrame中的key列进行匹配，匹配到一次结果中就会有一行数据。上面的left和right中key列都是k0~k2，k0~k2分别匹配到一次，共匹配三次，所以结果有三行。假如将k0~k2都改成k，则left中的每一个k可以与right中的k匹配到三次(many_to_many，后面会介绍)，共匹配9次，结果会有9行。

on参数指定的列必须在两个被合并DataFrame中都有，否则会报错。

on参数也可以指定多列，合并时按多个列进行连接。

在合并时，只有多个列的值同时相等，两个DataFrame才会匹配上。上面的例子中，用于连接的列是key1,key2，k0,k0在两个DataFrame中都有，匹配到一次，k1,k1匹配到两次，k2,k2和k2,k3等都没有匹配成功，所以结果为三行(默认合并方式为inner)。

原理如下：

四、两个DataFrame分别指定连接列

使用on参数时，指定的列必须在两个DataFrame中都有。merge()方法也支持两个DataFrame分别指定连接的列，此时不要求指定列在两个DataFrame中都有。

left_on: 指定第一个DataFrame中用于连接的列，默认为None。

right_on: 指定第二个DataFrame中用于连接的列，默认为None。

当left_on和right_on都指定一样的列时，与用on参数的结果一样。如果left_on和right_on指定不同的列，可能因为连接列的值匹配不上，结果是一个空DataFrame，将连接方式改成outer后才能得到非空的DataFrame。

left_on和right_on也可以指定一个array数组，长度与DataFrame中的列长度相等，连接原理不变。

left_index: 设置第一个DataFrame用行索引进行连接，默认为False。

right_index: 设置第二个DataFrame用行索引进行连接，默认为False。

left_on和right_on可以与left_index和right_index混合使用，当指定了其中一个DataFrame的连接列时，必须同时指定另一个DataFrame的连接列，否则会报错。两个DataFrame都有两种方式指定连接列，所以组合的方式有四种。

DataFrame	left	right
四种指定连接列的组合	left_on	right_on
	left_index	right_index
	left_on	right_index
	left_index	right_on

五、自定义相同列名的后缀

suffixes: 当被合并的两个DataFrame中有相同的列名时，会给列名拼接后缀以作区分，默认为('_x', '_y')。可以修改suffixes参数进行设置，传入长度为2的字符串元组。

六、连接列是否存在DataFrame中

indicator: 在结果中增加一列，显示连接列是否存在于两个DataFrame中。indicator默认为False，如果修改为True，会增加一列，增加的列名默认为_merge。

给indicator参数指定一个值，则将这个值作为新增列的列名。在新增的列中，如果连接列同时存在于两个DataFrame中，则对应的值为both，如果连接列只存在其中一个DataFrame中，则对应的值为left_only或right_only。

七、连接列的对应关系

validate: 用于指定两个DataFrame连接列的对应关系，有one_to_one(一对一)，one_to_many(一对多)，many_to_one(多对一)，many_to_many(多对多)四种对应方式。默认为None，merge()方法自动根据两个DataFrame的连接列采用适合的对应方式。

one_to_one: 检查两个DataFrame中的连接列，值必须唯一。

one_to_many: 检查第一个DataFrame中的连接列，值必须唯一。

many_to_one: 检查第二个DataFrame中的连接列，值必须唯一。

many_to_many: 两个DataFrame连接列中的值都可以不唯一。

使用多对多的对应方式，任何情况都满足，合并不会报错。而使用其他三种方式时，如果one对应的DataFrame中连接列的值不唯一，会报错。所以，在对数据不够了解、也没有特别的对应要求时，不用指定validate参数。

以上就是Pandas合并方法merge()的介绍，本文都是以DataFrame为例，Series合并以及Series与DataFrame合并的原理相似。

如果需要本文代码，可以扫码关注公众号“Python碎片”，然后在后台回复“pandas13”关键字获取完整代码。