spark读取csv文件乱码问题

墨羽辞

已于 2022-10-17 17:54:34 修改

阅读量1.3k

点赞数

文章标签： spark 大数据

于 2022-10-17 17:48:02 首次发布

本文链接：https://blog.csdn.net/qq_38331058/article/details/127367909

版权

正常的读写csv文件操作

val df=spark.read
            .format("csv")
            .option("header",true)              //文件是否包含表头
            .csv("D:\\test\\testfile.csv")      //文件地址
            .show()                             //展现数据

但是可能会出现中文字符乱码问题，所以需要进行优化

import spark.implicits._

val linesDF=spark.sparkContext
                 .hadoopFile("D:\\test\\testfile.csv", classOf[TextInputFormat], classOf[LongWritable], classOf[Text])
                 .map(pair => new String(pair._2.getBytes, 0, pair._2.getLength, "GBK"))
                 .mapPartitions(ite => ite.drop(1))        //删除第一行数据（表头数据）
                 .map(lines => lines.replace("\"",""))     //替换数据中的双引号
                 .map(lines => lines.split(","))           //切分数据
                 .map(s => (s(0),s(1),s(2),s(3),s(4)))     //转成Row类型
                 .toDF("id","姓名","性别","年龄","记录时间") 
                 .show()