spark scala读取文件选取特定列

最新推荐文章于 2022-06-03 22:42:29 发布

企鹅席地而坐

最新推荐文章于 2022-06-03 22:42:29 发布

阅读量3.4k

点赞数 4

本文链接：https://blog.csdn.net/qq_42400267/article/details/103447273

版权

spark 同时被 2 个专栏收录

8 篇文章 0 订阅

订阅专栏

scala

8 篇文章 0 订阅

订阅专栏

spark scala读取文件选取特定列
wordcount.txt:

a,1
c,2
a,1

选取最后一列

//选取特定列.
val data=sc.textFile("file:///E://table//wordcount.txt")
.flatMap(_.split("\n"))  //按换行符分割文件，把文件分成一行行的
.map{
	line=>
		var splits=line.split(",").reverse(0)   //把行按","分割，转置选取第一列即最后一列，
												//选取其他列例如第一列：line.split(",")(0) ，
												//选取多列map(line=>(line.split(",")(0),line.split(",")(18),line.split(",")(31))) 
       (splits,1)
}.reduceByKey(_+_).collect().foreach(println)