超级会员免费看
本文详细介绍了Spark中的核心概念——RDD，将其比喻为分布式数组，并阐述了分区的概念，每个分区仅在一台机器上，而一台机器可包含多个分区。通过实例展示了如何从数组和文件创建RDD，以及如何使用`count()`计算元素数量和`collect()`获取完整RDD的内容。
RDD定义：
任何数据在Spark中都被转换为RDD。
一个RDD可以看成是一个数组
不过是分到各个分区，分布在不同的机器上，可并行处理。
分区的定义：
一个RDD有多个RDD分区
一个RDD分区只在一个机器上
一个机器可有多个RDD分区
http://stackoverflow.com/questions/31359219/relationship-between-rdd-partitions-and-nodes
由数据转换为RDD：
举例：从普通数组创建RDD，里面包含了1到9这9个数字，它们分别在3个分区中。这个RDD一共9个元素，每个元素含有一个数字
val a = sc.parallelize(1
订阅专栏 解锁全文
扫一扫
596
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
