【Spark】Spark Dataframe 对项目中的数据实现列转行操作_spark的dataset列转行

±---------±---------±-----+
|1159822043|1975964455| yes|
|1159822043| 252302513| yes|
|1159822043|4226086795| yes|
±---------±---------±-----+
only showing top 3 rows

### 三、同理将其余隔行依次映射

scala> val no = df.filter(col(“no”).isNotNull).select(col(“event”),col(“no”)).withColumn(“userid”,explode(split(col(“no”)," "))).drop($“no”).withColumn(“status”,lit(“no”))
±---------±---------±-----+
| event| userid|status|
±---------±---------±-----+
|1159822043|3575574655| no|
|1159822043|1077296663| no|
|1186208412|1728988561| no|
±---------±---------±-----+
only showing top 3 rows

no: Unit = ()

scala> val invited = df.filter(col(“invited”).isNotNull).select(col(“event”),col(“invited”)).withColumn(“userid”,explode(split(col(“invited”)," "))).drop($“invited”).withColumn(“status”,lit(“invited”)).show(3)
±---------±---------±------+
| event| userid| status|
±---------±---------±------+
|1159822043|1723091036|invited|
|1159822043|3795873583|invited|
|1159822043|4109144917|invited|
±---------±---------±------+
only showing top 3 rows

invited: Unit = ()

scala> val maybe = df.filter(col(“maybe”).isNotNull).select(col(“event”),col(“maybe”)).withColumn(“userid”,explode(split(col(“maybe”)," "))).drop($“maybe”).withColumn(“status”,lit(“maybe”)).show(3)
±---------±---------±-----+
| event| userid|status|
±---------±---------±-----+
|1159822043|2733420590| maybe|
|1159822043| 517546982| maybe|
|1159822043|1350834692| maybe|
±---------±---------±-----+
only showing top 3 rows

maybe: Unit = ()

### 四、数据进行拼接

scala> yes.union(no).union(maybe).union(invited).show()
±---------±---------±-----+
| event| userid|status|
±---------±---------±-----+
|1159822043|1975964455| yes|
|1159822043| 252302513| yes|
|1159822043|4226086795| yes|
|1159822043|3805886383| yes|
|1159822043|1420484491| yes|
|1159822043|3831921392| yes|
|1159822043|3973364512| yes|
| 686467261|2394228942| yes|
| 686467261|2686116898| yes|
| 686467261|1056558062| yes|
| 686467261|3792942231| yes|
| 686467261|4143738190| yes|
| 686467261|3422491949| yes|
| 686467261| 96269957| yes|
| 686467261| 643111206| yes|
| 686467261|1267277110| yes|
| 686467261|1602677715| yes|
| 686467261| 175167653| yes|
| 855842686|2406118796| yes|
| 855842686|3550897984| yes|
±---------±---------±-----+
only showing top 20 rows

scala> yes.union(no).union(maybe).union(invited).count()
res15: Long = 11245010

![img](https://img-blog.csdnimg.cn/img_convert/f1dc3a9ebed55d55c23f4a6331fbc336.png)
![img](https://img-blog.csdnimg.cn/img_convert/67f12787a86ceddfb77bfb526053b197.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**