Spark处理csv文件:
csv数据如下:
首先是如何去除第一行:
将"header"设置为"true",意思是把csv文件的第一行不作为表头
将"header"设置为"fasle"意思是把csv文件的第一行作为表头
第二步将文件转为DataFrame:
创建数组接收,这样处理的好处是:需要哪几列数据根据数组下标提取即可
之后toDF设置每列的表头,结果如下:
Spark处理csv文件
最新推荐文章于 2024-07-13 10:06:08 发布
Spark处理csv文件:
csv数据如下:
首先是如何去除第一行:
将"header"设置为"true",意思是把csv文件的第一行不作为表头
将"header"设置为"fasle"意思是把csv文件的第一行作为表头
第二步将文件转为DataFrame:
创建数组接收,这样处理的好处是:需要哪几列数据根据数组下标提取即可
之后toDF设置每列的表头,结果如下: