Spark 用textFile处理带表头csv的大数据
巧用read.format.option其他说明解决
其他说明
目的是为了用spark做可视化分析
之前在网上找了一大堆处理csv表头的方法,
read.format.option:
spark新功能是可行,但是直接处理出来的数据结构是dataframe的,着实不好用spark处理和画图
textFile.filter(line => line !=header)
不知为何,我的python好像拒绝给我识别 >
解决
先用
df=spark.read.format("csv").op
原创
2020-06-06 18:09:57 ·
1436 阅读 ·
0 评论