- 博客(3)
- 收藏
- 关注
RSS订阅原创 rdd合并追加成新列
将相同size的rdd合并，使维数加大rdd1+rdd2+rdd3+rdd4 => rdd1,rdd2,rdd3,rdd4 var rddall = rdd1.zipPartitions(rdd2,rdd3,rdd4){ (rdd1Iter,rdd2Iter,rdd3Iter,rdd4Iter) => {var allx = List[String]()
2017-10-29 12:58:38
3706
原创 RDD合并
val rdd= rdd1.zipWithIndex().join(rdd2.zipWithIndex()).join(rdd3.zipWithIndex()).join(rdd4.zipWithIndex())
2017-10-29 12:30:44
2215
原创 scala读取指定列
val data = sc.textFile("/home/hadoop/kmeans.txt", 1) val parsedData =data.map(s => Vectors.dense(s.split(',').map(_.toDouble)) ) val select = data.map(s=>(for{i<-2 to 3} yield s.split(",")(i).toDou
2017-10-18 10:27:41
3533
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人