spark 把一列数据合并_基于列合并两个spark数据帧

我有两个数据帧,我需要合并基于一列(员工代码)。请注意,dataframe大约有75列,所以我提供了一个示例数据集来获取一些建议/示例解决方案。我使用的是databricks,数据集是从S3读取的。在

以下是我的两个数据帧:DATAFRAME - 1

|-----------------------------------------------------------------------------------|

|EMP_CODE |COLUMN1|COLUMN2|COLUMN3|COLUMN4|COLUMN5|COLUMN6|COLUMN7|COLUMN8|COLUMN9|

|-----------------------------------------------------------------------------------|

|A10001 | B | | | | | | | | |

|-----------------------------------------------------------------------------------|

DATAFRAME - 2

|-----------------------------------------------------------------------------------|

|EMP_CODE |COLUMN1|COLUMN2|COLUMN3|COLUMN4|COLUMN5|COLUMN6|COLUMN7|COLUMN8|COLUMN9|

|-----------------------------------------------------------------------------------|

|A10001 | | | | | C | | | | |

|B10001 | | | | | | | | |T2 |

|A10001 | | | | | | | | B | |

|A10001 | | | C | | | | | | |

|C10001 | | | | | | C | | | |

|-----------------------------------------------------------------------------------|

我需要合并基于EMP_代码的2个数据帧,基本上根据EMP_代码将dataframe1与dataframe2连接起来。当我做连接时,我得到了重复的列,我正在寻找一些帮助。在

预期的最终数据帧:

^{pr2}$

dataframe1中有3行emp_代码A10001,dataframe2中有1行。所有数据都应该合并为一条记录,没有任何重复的列。在

多谢了

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值