python print rdd_如何把Spark RDD中的内容按行打印出来?

请问我想把最后wordcounts里的内容按行打印出来要怎样编写代码?,向下面这样:

means 1

under 2

this 3

Hadoop 流行的一个通用的数据流模式是 MapReduce。Spark 能很容易地实现 MapReduce:

scala> val wordCounts = textFile.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey((a, b) => a + b)

wordCounts: spark.RDD[(String, Int)] = spark.ShuffledAggregatedRDD@71f027b8

这里,我们结合 flatMap, map 和 reduceByKey 来计算文件里每个单词出现的数量,它的结果是包含一组(String, Int) 键值对

的 RDD。我们可以使用 [collect] 操作在我们的 shell 中收集单词的数量:

scala> wordCounts.collect()

res6: Array[(String, Int)] = Array((means,1), (under,2), (this,3), (Because,1), (Python,2), (agree,1), (cluster.,1), ...)

请问我想把最后wordcounts里的内容按行打印出来要怎样编写代码?,向下面这样:

means 1

under 2

this 3

你这个后面接一个saveAsTextFile(“E:/text.txt”)

打印控制台是 .foreach(println(_))

可以写个函数,我用python,你可以类比。

output = wordCounts.collect()

def output(output):

for key, value in output:

print key, value

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Java实现: ```java import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import scala.Tuple2; import java.util.ArrayList; import java.util.List; public class GlomExample { public static void main(String[] args) { SparkConf conf = new SparkConf().setAppName("GlomExample").setMaster("local"); JavaSparkContext sc = new JavaSparkContext(conf); List<Integer> data = new ArrayList<>(); for (int i = 1; i <= 10; i++) { data.add(i); } JavaRDD<Integer> rdd = sc.parallelize(data, 2); JavaRDD<List<Integer>> glomRdd = rdd.glom(); List<List<Integer>> result = glomRdd.collect(); for (int i = 0; i < result.size(); i++) { System.out.println("Partition " + i + ": " + result.get(i)); } sc.stop(); } } ``` Scala实现: ```scala import org.apache.spark.{SparkConf, SparkContext} object GlomExample { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("GlomExample").setMaster("local") val sc = new SparkContext(conf) val data = 1 to 10 val rdd = sc.parallelize(data, 2) val glomRdd = rdd.glom() val result = glomRdd.collect() for (i <- result.indices) { println(s"Partition $i: ${result(i).toList}") } sc.stop() } } ``` Python实现: ```python from pyspark import SparkConf, SparkContext conf = SparkConf().setAppName("GlomExample").setMaster("local") sc = SparkContext(conf=conf) data = range(1, 11) rdd = sc.parallelize(data, 2) glom_rdd = rdd.glom() result = glom_rdd.collect() for i in range(len(result)): print(f"Partition {i}: {list(result[i])}") sc.stop() ```

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值