大数据学习笔记（六）-Spark的RDD

最新推荐文章于 2022-09-20 10:38:21 发布
最新推荐文章于 2022-09-20 10:38:21 发布
阅读量287 收藏
点赞数
分类专栏： 大数据 文章标签： spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/langyw98/article/details/78655875
版权
本文介绍了Spark中的核心数据结构RDD，包括如何创建RDD、常见转化和行动操作，如filter、map、reduceByKey等。还详细讲解了Pair RDD的操作，并重点讨论了广播变量的概念和优势，强调其在大数据处理中提高效率的作用，特别是在处理大文件时避免重复拷贝和提升数据传输速度方面的应用。
摘要由CSDN通过智能技术生成

创建
RDD是Spark中的数据集，是只读的
RDD可以从集合，普通文件系统，HDFS文件系统中创建
scala创建RDD的方法

val lines1 = sc.parallelize(List("aa","bb"))
val lines2 = sc.textFile("file:///opt/spark/README.md")
val lines3 = sc.textFile("hdfs://nn.a:9000/afile")

Spark读取hdfs文件系统中的文件需要将hadoop etc目录下的core-site.xml和hdfs-site.xml拷贝到Spark的conf目录下。

Spark1.6.3的Scala API文档：https://spark.apache.org/docs/1.6.3/programming-guide.html

转化操作
对单一RDD常用转化操作
filter()：过滤
first():第一行
m

最低0.47元/天 解锁文章
狂暴棕熊
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark中的键值对
江西师范大学-20届-吴悠
03-26 726
键值对RDD由一组组的键值对组成，成为PairRDD 创建键值对RDD 下面的命令是将每个句子的第一个单词作为键，整个句子作为值 val rdd=sc.parallelize(List("this is a test","how are you","I am fine","can you tell me")) val words=rdd.map(x=>(x.split(" ")(0),x))...
大数据学习笔记之Spark-RDD编程
断桥bian
02-11 474
RDD编程 Spark中的核心数据操作： 创建RDD 转换已有的RDD 调用RDD操作进行求值 Note: RDD是Spark数据操作的核心，它的主要特点是操作链，惰性求值。 RDD创建 创建RDD主要有两种方法： 读取外部数据集 JavaRDD<String> lines = sc.textFile("your file path") 在驱动
大数据系列第七课：RDD于Spark运行机制
kxr0502的博客
01-09 1029
第一阶段（1-3月）：会从浅入深，基于大量案例实战，深度剖析和讲解Spark，并且会包含完全从企业真实复杂业务需求中抽取出的案例实战。课程会涵盖Scala编程详解、Spark核心编程、Spark SQL和Spark Streaming、Spark GraphX、SparkR、Machine Learning、Spark内核以及源码剖析、性能调优、企业级案例实战等部分 第二阶段（Spark超大规模
Spark编程之基本的RDD算子之zip，zipPartitions，zipWithIndex，zipWithUniqueId
stevekangpei的博客
07-22 6940
Spark编程之基本的RDD算子之zip，zipPartitions，zipWithIndex，zipWithUniqueId 1） zip拉链操作 首先来看一下基本的api。def zip[U: ClassTag](other: RDD[U]): RDD[(T, U)]自身的RDD的值的类型为T类型，另一个RDD的值的类型为U类型。zip操作将这两个值连接在一起。构成一个元祖值。RDD的值的类型为
spark RDD基础装换操作--zip操作
weixin_43744732的博客
01-30 578
14.zip操作 将数字1~3组成的RDD，与字母A到C组成的RDD应用拉链（zip）操作，合并到一个新的RDD中。 scala> val rddData1 = sc.parallelize(1 to 10,5) rddData1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[32] at parallelize at &lt...
根据key合并两个rdd有四种方式
千淘万漉
09-20 1万+
根据key合并两个rdd有四种方式： 1.用SparkSQL进行join 2.用双重循环连接两个rdd 3.用rdd的join方法，如下所示，合并的key不能是Tuple 4.rdd中的元素仍然是键值对，只不过值是scala对象   Array中装的是Tuple，是键值对，建和值都是String类型   // 键是String类型，值是Tuple类型 val rdd1 =...
大数据笔记--Spark机器学习（第一篇）
热门推荐
我睡觉的时候不困
04-05 1万+
一、数据挖掘与机器学习 1、概念 2、人工智能 3、数据挖掘体系 二、机器学习 1、什么是机器学习 2、机器学习的应用 3、实现机器学习算法的工具与技术框架 三、Spark MLlib介绍 1、简介 2、MLlib基本数据类型 Ⅰ、概述 Ⅱ、本地向量 Ⅲ、向量标签的使用 Ⅳ、本地矩阵 Ⅴ、分布式矩阵的使用 3、MLlib统计量基础 Ⅰ、概述 Ⅱ、计算基本统计量 Ⅲ、计算相关系数 四、距离度量和相似度度量 1、概念 2、欧氏距离 3、曼哈顿距离 4、切比雪夫距离
大数据组件笔记 -- Spark 入门
L小Ray想有腮
03-28 414
文章目录一、简介 一、简介 Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 Spark 历史 Spark 虽然有自己的资源调度框架，但实际中常用 Yarn 来进行统一资源管理。 Spark 框架 Spark内置模块 Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Distributed DataSet，简称RDD)的API定义。 S
大数据spark篇--Spark SQL概念
qq_43709558的博客
09-20 497
spark sql概念
大数据学习笔记-------------------(4)
WEL测试
09-22 196
第4章 Spark CORE编程      Spark Core是整个项目的基石。它提供了分布式任务调度，调度和基本的I / O功能。Spark使用一个专门的基本的数据结构，该数据结构被称为RDD（弹性分布式数据集），RDD是整个机器的数据分区的逻辑集合。RDD可以通过两种方式来创建;一个是引用外部存储系统的数据集，第二是通过应用在现有RDD上变换（如map, filter, reducer
spark大数据入门（三）--RDD的简单解析
HAHA的专栏
12-11 3344
什么是RDD      RDD是弹性分布式数据集的简称，她具有以下的优点：第一RDD具有并行化的操作特点，通俗的说，在RDD中存在一定数量的分片，每一个分片都会对应一个task，这些Task是可以并发烦人执行。第二，RDD具有很好的容错处理，这个特性是由RDD的血统依赖产生的，RDD1---->RDD2---->RDD3，这单个RDD一次又前面的那产生，同事RDD又具有不变的性质，当RDD3发
【Spark】键值对操作，pair RDD的转化操作
晚风中的自由
11-06 743
一、Pair RDD 键值对的创建 Spark为包含键值对类型的RDD提供了一些专有的操作。这些RDD被成为pair RDD。pair RDD是很多程序的构成要素，因为它提供了并行操作各个键或跨节点重新进行数据分组的操作接口。例如，pair RDD提供reduceByKey() 方法，可以分别归约每个键对应的数据，还有join()方法，可以把两个RDD中键相同的元素组合到一起，合并...
《数据算法-Hadoop/Spark大数据处理技巧》读书笔记（一）——二次排序
狂暴棕熊的博客
01-26 2434
写在前面： 在做直播的时候有同学问Spark不是用Scala语言作为开发语言么，的确是的，从网上查资料的话也会看到大把大把的用Scala编写的Spark程序，但是仔细看就会发现这些用Scala写的文章绝大部分是初级内容，最常见的就是某一个API是怎么用的，很多都是拷贝粘贴的重复内容，真正深入的内容并不多见。之前看美团团队写的Spark优化相关放出的代码是用Java写的，《数据算法-Hadoop/
大数据学习笔记（九）-大数据中的压缩
狂暴棕熊的博客
12-13 2376
1.常见压缩格式： gzip，bizp2，LZO，Snappy 2.压缩技术使用原则： 缩小体积则需要更多的CPU计算量，存储数据倾向于大压缩比的压缩技术，根据实际情况选择合适的压缩技术。 3.压缩在大数据计算中的一个重要考量是压缩技术是否支持分割（split） bzip2支持，LZO创建索引后支持 4.要让Hadoop支持压缩，需要对Hadoop源码进行编译
Spark开发中遇到的问题及解决方法
狂暴棕熊的博客
01-16 2081
1.Windows下运行spark产生的Failed to locate the winutils binary in the hadoop binary path异常 解决方法： 1.下载winutils的windows版本 　　GitHub上，有人提供了winutils的windows的版本，项目地址是：https://github.com/srccodes/hadoop-co
大数据学习笔记（七）-Spark的图形化工具的使用
狂暴棕熊的博客
12-01 1991
启动Spark集群：start-all.sh 进入集群的spark-shell: spark-shell –master=spark://hadoop000:7077 进入集群的WebUI管理界面：hadoop000:8080 打开EventLog： conf下的spark-defaults.conf开启配置：spark.eventLog.enabled true spa
大数据学习笔记（十五）-大数据调度框架
狂暴棕熊的博客
12-27 1890
1.常用框架 crontab 存在的问题：单机的 Azkaban 开源的工作流框架，批处理 https://azkaban.github.io/ Oozie http://oozie.apache.org/
大数据spark企业级实战版【学习笔记】---spark简介
最新发布
03-16
Spark的核心是RDD（弹性分布式数据集），它是一种分布式的内存抽象，可以在不同的节点上并行处理数据。Spark还提供了许多高级API，如Spark SQL、Spark Streaming、MLlib和GraphX等，可以满足不同的数据处理需求。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值