Spark学习笔记10:创建RDD

目录一、什么是RDD(一)RDD概念(二)RDD示例(三)RDD主要特征二、做好准备工作(一)准备文件1、准备本地系统文件2、启动HDFS服务3、准备HDFS系统文件(二)启动SparkShell1、启动Spark服务2、启动Spark Shell三、创建RDD(一)从对象集合创建RDD1、利用parallelize()方法创建RDD2、利用makeRDD()方法创建RDD 3、总结说明(二)从外部存储创建RDD1、读取......
摘要由CSDN通过智能技术生成

目录

一、什么是RDD

(一)RDD概念

(二)RDD示例

(三)RDD主要特征

二、做好准备工作

(一)准备文件

1、准备本地系统文件

2、启动HDFS服务

3、准备HDFS系统文件

(二)启动Spark Shell

 1、启动Spark服务

 2、启动Spark Shell

 三、创建RDD

(一)从对象集合创建RDD

1、利用parallelize()方法创建RDD

 2、利用makeRDD()方法创建RDD

  3、总结说明

(二)从外部存储创建RDD

1、读取本地系统文件

2、给输出数据添加行号

3、读取HDFS系统文件


一、什么是RDD

(一)RDD概念

  • Spark提供了一种对数据的核心抽象,称为弹性分布式数据集(Resilient Distributed Dataset,RDD)。这个数据集的全部或部分可以缓存在内存中,并且可以在多次计算时重用。RDD其实就是一个分布在多个节点上的数据集合。

RDD的弹性主要是指当内存不够时,数据可以持久化到磁盘,并且RDD具有高效的容错能力

(二)RDD示例

  • 将数据集(hello,world,scala,spark,love,spark, happy)存储在三个节点上,节点一存储(hello,world),节点二存储(scala,spark,love),节点三存储(spark,happy),这样对三个节点的数据可以并行计算,并且三个节点的数据共同组成了一个RDD。
  • 分布式数据集类似于HDFS中的文件分块,不同的块存储在不同的节点上;而并行计算类似于使用MapReduce读取HDFS中的数据并进行Map和Reduce操作。Spark则包含这两种功能,并且计算更加灵活。
  • 在编程时,可以把RDD看作是一个数据操作的基本单位,而不必关心数据的分布式特性,Spark会自动将RDD的数据分发到集群的各个节点。Spark中对数据的操作主要是对RDD的操作(创建、转化、求值)。
     

(三)RDD主要特征

  1. RDD是不可变的,但可以将RDD转换成新的RDD进行操作。
  2. RDD是可分区的。RDD由很多分区组成,每个分区对应一个Task任务来执行。
  3. 对RDD进行操作,相当于对RDD的每个分区进行操作。
  4. RDD拥有一系列对分区进行计算的函数,称为算子。
  5. RDD之间存在依赖关系,可以实现管道化,避免了中间数据的存储。

二、做好准备工作

(一)准备文件

1、准备本地系统文件

/home目录里创建test.txt

2、启动HDFS服务

执行命令:start-dfs.sh

<

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值