(一)RDD概念
Spark提供了一种对数据的核心抽象,称为弹性分布式数据集(Resilient Distributed Dataset,RDD)。这个数据集的全部或部分可以缓存在内存中,并且可以在多次计算时重用。RDD其实就是一个分布在多个节点上的数据集合。
RDD的弹性主要是指当内存不够时,数据可以持久化到磁盘,并且RDD具有高效的容错能力。
分布式数据集是指一个数据集存储在不同的节点上,每个节点存储数据集的一部分。
(二)RDD示例
将数据集(hello,world,scala,spark,love,spark, happy)存储在三个节点上,节点一存储(hello,world),节点二存储(scala,spark,love),节点三存储(spark,happy),这样对三个节点的数据可以并行计算,并且三个节点的数据共同组成了一个RDD。
(一)。准备需要文件
进入home目录下
创建test.txt文件
vim test.txt编辑文件
启动hdfs服务:start-dfs.sh
上传hdfs文件
将test.txt上传到hdfs的park文件下
查看文件内容
2.启动spark shell
利用parallelize创建rdd
rdd.collect()显示收集数据