- 博客(2)
- 收藏
- 关注
原创 spark读取csv文件,将数据分成多列
前言:之所以写这个,是最近在用Scala语言写spark 通过RDD读取csv文件后,如何将一列成多列,最后写入Mysql中,在晚上找了很多一列转多列的博文,发现没一个适用我的,因为也是刚学spark,比较菜,这个问题前前后后花了我两天的时间才搞定。直接贴代码吧//读取csv文件并最终将RDD转成DataFrameval rdd = spark.sparkContext.textFile("aaa.csv") val logDF = rdd.map(_.split(",")).map(
2021-09-18 20:38:32
1287
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人