Pandas merge 小坑:键值顺序的影响?
一个常见的使用 pandas merge 两张表的场景如下:
表 a
idx key1 key2
0 1 1 1
1 2 3 2
2 3 4 4
3 5 5 5
4 7 6 7
表 b
id key2 key1
0 1 1 1
1 2 2 3
2 3 4 4
3 5 5 5
4 7 7 6
我们准备在 [key1, key2]
上 merge 两张表
尽管表 a 和表 b 的 key1, key2 顺序不同,在普通 merge 时是不会出现问题的,指定on=[key1, key2]
即可,表会分别去匹配两个键
a.merge(b, on=['key1', 'key2'], how='left')
idx key1 key2 id
0 1 1 1 1
1 2 3 2 2
2 3 4 4 3
3 5 5 5 5
4 7 6 7 7
a.merge(b, on=['key2', 'key1'], how='left')
idx key1 key2 id
0 1 1 1 1
1 2 3 2 2
2 3 4 4 3
3 5 5 5 5
4 7 6 7 7
但是如果是另一种 merge 场景:left
表的列和right
表的 index 合并,就会受到on=[]
中键值顺序的影响
b = b.set_index(['key2', 'key1']) # 设置 b 表的 index 为要合并的列
a.merge(b, left_on=['key1', 'key2'], right_index=True, how='left')
# 输出
idx key1 key2 id
0 1 1 1 1.0
1 2 3 2 NaN
2 3 4 4 3.0
3 5 5 5 5.0
4 7 6 7 NaN
可以看到left
表按照left_on
设置的键值顺序给出参与匹配的列,而right
表是按照index
顺序给出参与匹配的列,导致出现了没有匹配的情况
更换一下left_on
的顺序,可以发现匹配就成功了
a.merge(b, left_on=['key2', 'key1'], right_index=True, how='left')
idx key1 key2 id
0 1 1 1 1
1 2 3 2 2
2 3 4 4 3
3 5 5 5 5
4 7 6 7 7
可以理解为,在left_on
和right_on
分别指定的时候,指定的是left
表和right
表给出参与匹配的列的方式。其中right_index
的设置就是right_on
的一种特殊指定方式,表示right
表给出tuple
类型的index
参与匹配,而tuple
类型作为不可变类型,不具备按照指定列名重组顺序,再进行匹配的能力,而是以tuple
整体给出