Pandas 的Merge总结

Pandas Merge

pandas 的merge方法提供了一种类似于SQL的内存链接操作，官网文档提到它的性能会比其他开源语言的数据操作（例如R）要高效。

Merge

Merge的参数

• on: 列名，join用来对齐的那一列名字，用到这个参数的时候一定要保证坐表和右表用来对齐的那一列都有相同的列名。
• left_on: 坐标对齐的列，可以是列名，也可以是和dataframe同样长度的arrays;
• left_index/right_index: 如果是True的 haunted以index作为对齐的key
• how: 数据融合的方法
• sort: 根据dataframe合并的keys按字典顺序排序，默认是，如果置false可以提高表现。
  merge的默认合并方法：merge用于表内部基于index-on-index和index-on-column(s)的合并，但默认是基于index来合并。

1.1 复合key的合并方法

使用merge的时候可以选择多个key作为复合可以对齐合并。

1.1.1 通过on指定数据合并对齐的列

import pandas as pd

left = pd.DataFrame({'key1': ['K0', 'K0', 'K1', 'K2'],'key2': ['K0', 'K1', 'K0', 'K1'],'A': ['A0', 'A1', 'A2', 'A3'],'B': ['B0', 'B1', 'B2', 'B3']})
right = pd.DataFrame({'key1': ['K0', 'K1', 'K1', 'K2'],'key2': ['K0', 'K0', 'K0', 'K0'],'C': ['C0', 'C1', 'C2', 'C3'],'D': ['D0', 'D1', 'D2', 'D3']})

print('left----------------')
print(left)
print('right----------------')
print(right)
result = pd.merge(left, right, on=["key1","key2"])
print('merge----------------')
print(result)

left----------------
  key1 key2   A   B
0   K0   K0  A0  B0
1   K0   K1  A1  B1
2   K1   K0  A2  B2
3   K2   K1  A3  B3
right----------------
  key1 key2   C   D
0   K0   K0  C0  D0
1   K1   K0  C1  D1
2   K1   K0  C2  D2
3   K2   K0  C3  D3
merge----------------
  key1 key2   A   B   C   D
0   K0   K0  A0  B0  C0  D0
1   K1   K0  A2  B2  C1  D1
2   K1   K0  A2  B2  C2  D2

没有指定how的话默认使用inner方法，how的方法有：

left

只保留左表的所有数据

left_result = pd.merge(left, right, how='left', on=['key1','key2'])
print(left_result)

  key1 key2   A   B    C    D
0   K0   K0  A0  B0   C0   D0
1   K0   K1  A1  B1  NaN  NaN
2   K1   K0  A2  B2   C1   D1
3   K1   K0  A2  B2   C2   D2
4   K2   K1  A3  B3  NaN  NaN

right

只保留右表的所有数据

right_result = pd.merge(left, right, how='right', on=['key1','key2'])
print(right_result)

  key1 key2    A    B   C   D
0   K0   K0   A0   B0  C0  D0
1   K1   K0   A2   B2  C1  D1
2   K1   K0   A2   B2  C2  D2
3   K2   K0  NaN  NaN  C3  D3

outer

保留两个表的所有信息

outer_result = pd.merge(left, right, how='outer', on=['key1','key2'])
print(outer_result)

  key1 key2    A    B    C    D
0   K0   K0   A0   B0   C0   D0
1   K0   K1   A1   B1  NaN  NaN
2   K1   K0   A2   B2   C1   D1
3   K1   K0   A2   B2   C2   D2
4   K2   K1   A3   B3  NaN  NaN
5   K2   K0  NaN  NaN   C3   D3

inner

只保留两个表中公共部分的信息

inner_result = pd.merge(left, right, how='inner', on=['key1','key2'])
print(inner_result)

  key1 key2   A   B   C   D
0   K0   K0  A0  B0  C0  D0
1   K1   K0  A2  B2  C1  D1
2   K1   K0  A2  B2  C2  D2

1.2 indicator

v0.17.0版本的pandas开始还支持了一个indicator的参数，如果置为True的时候，输出结果会增加一列’_merge’。_merge列可以取三个值：

1. left_only: 只在左表中
2. right_only: 只在右表中
3. both: 两个表中都有

1.3 join方法

dataframe内置的join方法是一种快速合并的方法。它默认以index作为对齐的列。

1.3.1 how参数

join中的how参数和merge中的how参数一样，用来指定表合并保留数据的规则。

1.3.2 on参数

在实际应用中如果右表的索引值正是左表的某一列的值，这时可以通过将右表的索引和左表的列对齐合并这样灵活的方式来进行合并。如下：

left = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'],'B': ['B0', 'B1', 'B2', 'B3'],'key': ['K0', 'K1', 'K0', 'K1']})
right = pd.DataFrame({'C': ['C0', 'C1'],'D': ['D0', 'D1']}, index=['K0', 'K1'])
result = left.join(right, on='key')

print('left----------------')
print(left)
print('right----------------')
print(right)
print('join----------------')
print(result)

left----------------
    A   B key
0  A0  B0  K0
1  A1  B1  K1
2  A2  B2  K0
3  A3  B3  K1
right----------------
     C   D
K0  C0  D0
K1  C1  D1
join----------------
    A   B key   C   D
0  A0  B0  K0  C0  D0
1  A1  B1  K1  C1  D1
2  A2  B2  K0  C0  D0
3  A3  B3  K1  C1  D1

1.3.2 suffix后缀参数

如果和表合并的过程中遇到有一列两个表都同名，但是值不同，合并的时候又想都保留下来，就可以用suffixes给每个表的重复列名增加后缀。

• 另外还有lsuffix和rsuffix分别指定左表的后缀和右表的后缀

left = pd.DataFrame({'k':['K0','K1','K2'],'v':[1,2,3]})
right = pd.DataFrame({'k':['K0','K1','K2'],'v':[4,5,6]})
result = pd.merge(left, right, on='k', suffixes=['_l','_r'])

print('left----------------')
print(left)
print('right----------------')
print(right)
print('merge----------------')
print(result)

left----------------
    k  v
0  K0  1
1  K1  2
2  K2  3
right----------------
    k  v
0  K0  4
1  K1  5
2  K2  6
merge----------------
    k  v_l  v_r
0  K0    1    4
1  K1    2    5
2  K2    3    6

1.4 组合多个dataframe

一次组合多个dataframe的时候可以传入元素为dataframe的列表或者tuple。一次join多个，一次解决多次烦恼。

left = pd.DataFrame({'v':[1,2,3]}, index=['K0', 'K1', 'K2'])
right = pd.DataFrame({'v':[4,5,6]}, index=['K0', 'K0', 'K3'])
right2 = pd.DataFrame({'v': [7, 8, 9]}, index=['K1', 'K1', 'K2'])

result = left.join([right, right2])
print('left----------------')
print(left)
print('right----------------')
print(right)
print('right2----------------')
print(right2)
print('join----------------')
print(result)

left----------------
    v
K0  1
K1  2
K2  3
right----------------
    v
K0  4
K0  5
K3  6
right2----------------
    v
K1  7
K1  8
K2  9
join----------------
    v_x  v_y    v
K0    1  4.0  NaN
K0    1  5.0  NaN
K1    2  NaN  7.0
K1    2  NaN  8.0
K2    3  NaN  9.0

参考：https://blog.csdn.net/weixin_37226516/article/details/64137043