Spark DataFrame join后移除重复的列

在Spark，两个DataFrame做join操作后，会出现重复的列。有两种方法可以用来移除重复的列。

方法一：join表达式使用字符串数组（用于join的列）

df1.join(df2, Seq("id","name"),"left")

这里DataFrame df1和df2使用了id和name两列来做join，返回的结果会对这两列去重。

join的第三个参数为join的类型：left，right，inner，fullouter。

方法二：使用select返回指定的列

DataFrame.join操作类似于SQL语句，可以使用select指定返回的列：

val dfa  = Seq(("a", 1), ("b", 2)).toDF("key", "vala")
val dfb  = Seq(("a", 1)).toDF("key", "valb")
dfa.join(dfb, dfa("key") === dfb("key")).select(dfa("id"), dfb("valb")")

如果列较少, 推荐使用第二种.
如果列较多, 推荐使用第一种.