前言:之所以写这个,是最近在用Scala语言写spark 通过RDD读取csv文件后,如何将一列成多列,最后写入Mysql的问题,在网上找了很多一列转多列的博文,发现没一个适用我的,因为也是刚学spark,比较菜,这个问题前前后后花了我两天的时间才搞定。
直接贴代码吧
//读取csv文件并最终将RDD转成DataFrame
val rdd = spark.sparkContext.textFile("aaa.csv")
val logDF = rdd.map(_.split(",")).map(
x => (x(0), x(1), x(2), x(3), x(4), x(5), x(6), x(7), x(8))
).toDF("列名1", "列名2", "列名3", "列名4", "列名5", "列名6", "列名7", "列名8", "列名9"")