Scala当中parallelize并行化的用法

马克-to-win:parallelize并行化集合是根据一个已经存在的Scala集合创建的RDD对象。集合的里面的元素将会被拷贝进入新创建出的一个可被并行操作的分布式数据集。
例如:val rdd03 = sc.parallelize(List(1, 4, 3, 7, 5)) 根据系统环境来进行切分多个slice,每一个slice启动一个Task来进行处理。
val rdd03 = sc.parallelize(List(1, 4, 3, 7, 5), 5) 指定了partition的数量为5,
makeRDD和parallelize的区别?makeRDD函数有两种实现,第一种实现其实完全和parallelize一致。而第二种实现可以为数据提供位置信息,除此之外,和parallelize是一致的
 */
    val rdd03 = sc.parallelize(List(1, 4, 3, 7, 5), 3)
    val rdd03_1 = rdd03.map { x => x + 1 }
    println("map2 用法  is 马克-to-win @ 马克java社区:" + rdd03_1.collect().mkString(","))

    val rdd04 = sc.parallelize(List(1, 4, 3, 7, 5), 3)
    val rdd04_1 = rdd04.filter { x => x > 3 }
    println("filter2 用法 马克-to-win @ 马克java社区:" + rdd04_1.collect().mkString(","))

    val rdd05: RDD[Int] = sc.makeRDD(Array(1, 4, 3))
    val rdd06: RDD[Int] = sc.makeRDD(Array(7, 5))
    myunion(rdd05, rdd06)
    /*reduce(function)

更多请看下节:https://blog.csdn.net/qq_44596980/article/details/93310016

发布了671 篇原创文章 · 获赞 58 · 访问量 30万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览