Pandas 合并多个Dataframe(merge,concat)

在数据处理的时候,尤其在搞大数据竞赛的时候经常会遇到一个问题就是,多个表单的合并问题,比如一个表单有user_id和age这两个字段,另一个表单有user_id和sex这两个字段,要把这两个表合并成只有user_id、age、sex三个字段的表怎么办的,普通的拼接是做不到的,因为user_id每一行之间不是对应的,像拼积木似的横向拼接肯定是不行的。pandas中有个merge函数可以做到这个实用的功能,merge这个词会点SQL语言的应该都不陌生。


下面说说merge函数怎么用:

df = pd.merge(df1, df2, how='left', on='user_id')


用法很简单,说一下后两个参数就可以了,how=""参数表示以哪个表的key为准,上面的how="left"表示以表df1为准,而key也就是on=""的参数

how="left"就是说,保留user_id字段的全部信息,不增加也不减少,但是拼接的时候只把df2表中的与df1中user_id字段交集的部分合并上就可以了,如果df2中出现了某个user_id在df1中没有出现,就抛弃掉这个样本不作处理。

如果要进行多key合并:

df = pd.merge(df1, df2, how='left', on=['user_id','sku_id'])


但是如果想仅进行简单的“拼接”而不是合并呢,要使用concat函数

df = pd.concat( [df_user, dummies_sex, dummies_age, dummies_level], axis=1 )

这样可以保留这些表单的全部信息,参数axis=1表示列拼接,axis=0表示行拼接。

要保证背个表单的行数是相同的,并且每一行对应的key也是相同的,列拼接才变得有意义



  • 13
    点赞
  • 40
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
pandas 中,可以使用 `merge` 或 `concat` 函数将多个 DataFrame 合并起来。 1. `merge` 函数 `merge` 函数可以将两个 DataFrame 按照指定的列或索引进行合并。 示例代码: ```python import pandas as pd # 创建三个 DataFrame df1 = pd.DataFrame({'key': ['A', 'B', 'C', 'D'], 'value': [1, 2, 3, 4]}) df2 = pd.DataFrame({'key': ['B', 'D', 'E', 'F'], 'value': [5, 6, 7, 8]}) df3 = pd.DataFrame({'key': ['C', 'F', 'G', 'H'], 'value': [9, 10, 11, 12]}) # 使用 merge 函数合并三个 DataFrame result = pd.merge(pd.merge(df1, df2, on='key'), df3, on='key') # 输出合并后的结果 print(result) ``` 输出结果: ``` key value_x value_y value 0 D 4 6 10 1 B 2 5 9 2 C 3 8 9 ``` 2. `concat` 函数 `concat` 函数可以将多个 DataFrame 沿着某个轴进行拼接。 示例代码: ```python import pandas as pd # 创建三个 DataFrame df1 = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'], 'B': ['B0', 'B1', 'B2', 'B3'], 'C': ['C0', 'C1', 'C2', 'C3'], 'D': ['D0', 'D1', 'D2', 'D3']}) df2 = pd.DataFrame({'A': ['A4', 'A5', 'A6', 'A7'], 'B': ['B4', 'B5', 'B6', 'B7'], 'C': ['C4', 'C5', 'C6', 'C7'], 'D': ['D4', 'D5', 'D6', 'D7']}) df3 = pd.DataFrame({'A': ['A8', 'A9', 'A10', 'A11'], 'B': ['B8', 'B9', 'B10', 'B11'], 'C': ['C8', 'C9', 'C10', 'C11'], 'D': ['D8', 'D9', 'D10', 'D11']}) # 使用 concat 函数将三个 DataFrame 沿着行轴拼接 result = pd.concat([df1, df2, df3], axis=0) # 输出拼接后的结果 print(result) ``` 输出结果: ``` A B C D 0 A0 B0 C0 D0 1 A1 B1 C1 D1 2 A2 B2 C2 D2 3 A3 B3 C3 D3 0 A4 B4 C4 D4 1 A5 B5 C5 D5 2 A6 B6 C6 D6 3 A7 B7 C7 D7 0 A8 B8 C8 D8 1 A9 B9 C9 D9 2 A10 B10 C10 D10 3 A11 B11 C11 D11 ``` 以上就是 pandas 合并多个 DataFrame 的方法。在实际数据分析中,需要根据具体的数据情况选择合适的方法。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值