Spark和Scala当中的collect方法的用法和例子

/*collect: 收集一个弹性分布式数据集的所有元素到一个数组中,这样便于我们观察,毕竟分布式数据集比较抽象。Spark的collect方法,是Action类型的一个算子,会从远程集群拉取数据到driver端。最后,将大量数据
 汇集到一个driver节点上,将数据用数组存放,占用了jvm堆内存,非常用意造成内存溢出,只用作小型数据的观察。*/
    val arr = res.collect();
    println("arr(0) is " + arr(0) + " arr(2) is " + arr(2) + " arr(4) is " + arr(4));
  }
}

版权保护,尊重原创,原文出处:http://www.mark-to-win.com/index.html?content=Mydb/DBUrl.html&chapter=Mydb/SparkScala_web.html#SparkcollectUsage
 

 

发布了31 篇原创文章 · 获赞 5 · 访问量 4186
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览