spark入门（1）

最新推荐文章于 2022-05-24 11:27:52 发布
最新推荐文章于 2022-05-24 11:27:52 发布
阅读量409 收藏
点赞数
分类专栏： Scala 文章标签： spark 大数据 scala 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38493025/article/details/104329718
版权
本文是Spark入门系列的第一部分，主要介绍了RDD（Resilient Distributed Dataset）的基本概念和特点。RDD是Spark的核心数据结构，具备分布式存储、内存优先以及数据可靠性的特性。此外，还涉及了Spark编程的一些细节，包括编程规范和常用的IDE快捷键。
摘要由CSDN通过智能技术生成

1. RDD

1.1 RDD的定义

RDD：resilient distributed dataset 弹性分布式数据集

  • dataset：数据封装到集合中
  • distributed：分布式存储数据
  • resilient：数据优先存储在内存中，如果内存空间不足，再溢写到磁盘中

1.2 RDD的特点

  • 分布式存储：数据分区
  • 内存优先：内存 > 磁盘
  • 数据可靠性：血统机制

2 编程细节

2.2 编程规范

  • 类名：大写字母开头
  • 字段名/成员名：小写字母开头

2.3 快捷键

  • 格式化代码：ctrl+alt+L
  • 自动补齐代码：ctrl+J
  • 注释代码：ctrl+/

2.1 构建工程步骤

  • 新建空项目（New-Project）
    在这里插入图片描述
最低0.47元/天 解锁文章
==樛木==
关注
专栏目录
spark快捷操作
学而不思则罔 思而不学则殆
04-07 1154
一、分区 查看当前分区，sql: show partitions xxdb.xxtable
Spark中用IDEA创建快捷键
SmallScorpion
04-21 385
点击File->Settings…->Editor->Live Templates->output->Live Template 选择scala 测试
spark 小技巧
JackLi31742的博客
09-17 767
一、把结果带出foreachval e= b.map(f⇒{ var dbConnector:GraphDatabaseConnector=new Neo4jConnector(); val eachList=dbConnector.getPersonSimList(f._1) dbConnector.finalize() dbConnec
scala spark 数据对比,Scala，Spark中==和===之间的区别
weixin_39872123的博客
12-31 278
I am from a Java background and new to Scala.I am using Scala and Spark. But I'm not able to understand where I use ==and ===.Could anyone let me know in which scenario I need to use these two operato...
scala spark 数据对比_Scala，Spark中==和===之间的区别
weixin_33781129的博客
12-31 522
I am from a Java background and new to Scala.I am using Scala and Spark. But I'm not able to understand where I use ==and ===.Could anyone let me know in which scenario I need to use these two operato...
Spark 入门实战系列
01-18
Spark 入门实战系列，适合初学者，文档包括十部分内容，质量很好，为了感谢文档作者，也为了帮助更多的人入门，传播作者的心血，特此友情转贴: 1.Spark及其生态圈简介.pdf 2.Spark编译与部署（上）--基础环境搭建....
大数据入门spark3.0入门到精通Spark-day06.rar
02-21
2021贺岁大数据入门spark3.0入门到精通资源简介： 本课程中使用官方在2020年9月8日发布的Spark3.0系列最新稳定版：Spark3.0.1。共课程包含9个章节：Spark环境搭建，SparkCore，SparkStreaming，SparkSQL，...
spark入门课程
11-07
**Spark入门课程** Spark是大数据处理领域中的一款热门开源框架，以其高效、易用和弹性伸缩性著称。本课程旨在为初学者提供全面的Spark知识，涵盖从基础概念到高级特性的深入理解。 首先，我们将从Scala编程语言...
大数据入门spark3.0入门到精通 1-8day 代码-笔记.zip
02-21
2021贺岁大数据入门spark3.0入门到精通资源简介： 本课程中使用官方在2020年9月8日发布的Spark3.0系列最新稳定版：Spark3.0.1。共课程包含9个章节：Spark环境搭建，SparkCore，SparkStreaming，SparkSQL，...
Spark学习总结-入门.rar_Spark!_spark_spark入门_大数据 spark
最新发布
09-24
1. **Spark概述** Spark最初由加州大学伯克利分校AMPLab开发，后来成为Apache顶级项目。它的设计目标是提供一种比Hadoop MapReduce更快速、更易于使用的数据处理方式，尤其在迭代计算和交互式数据分析上表现突出。 ...
spark基本常识（三）====shuffle
破碎琉璃为哪般
11-22 717
上一篇讲了RDD，这篇讲RDD的shuffle一些知识与诸君分享 什么是shuffle，以及为什么需要shuffle？ shuffle中文翻译为洗牌，需要shuffle的原因是： 具有共同特征的数据汇聚到一个计算节点上进行计算 spark中shuffle的分类 主要分三种： 1、hashshuffle ： 默认不排序，直接进行shuffle 2、sortshuffle ：默认先进行排序。在...
idea快速入门spark编程
窦永厚
09-18 488
ideaI快速入门一站式spark编程，下载安装idea、配置JDK3，maven，Scala，spark
Scala的==和===的差异
Buevara的博客
08-07 4472
“==”使用equals方法检查两个引用是否指向同一个对象。 “===”的定义取决于上下文/对象。对于Spark，“===”正在使用equalTo方法。 参见 - for == https://spark.apache.org/docs/2.0.0/api/java/org/apache/spark/sql/Column.html#equals(java.lang.Object） -...
spark===RDD
LV_ZFG的博客
08-21 332
在spark的简介中我们已经说过了，为了让spark的处理速度加快，其中有一个解决办法就是引入了一个分布式的弹性数据集--RDD 那什么是RDD：RDD(Resilient Distributed Dataset）弹性数据集，是spark中的最基本的数据抽象，虽然说RDD是一个数据集，但是，它不存储数据，他表示的是一个不可变的，可分区的元素并行计算的集合，允许用户在执行多个查询时将工作缓存到内存...
spark的常识整理(二)====RDD
破碎琉璃为哪般
11-22 259
前言：今天我接着上一篇RDD创建之后的内容继续来说，与各位博友共勉！ RDD的算子 RDD算子有两种 1、transformation算子（懒惰性算子，不会立即执行，一般不触发job的算子都是此类算子） 比如map，filter, flatmap , groupByKey ,reduceByKey, join(left right) ,cogroup, sortByKey等； 其中s...
spark运行模式之 ===> Standalone
weixin_30268921的博客
03-20 100
Standalone是 spark自带的资源管理框架，类似 yarn。 yarn中有resourcemanager 和 nodemanager 两个进程，resourcemanager负责管理整个集群的资源，nodemanager负责管理自己所在节点的资源以及启动container。 在Standalone中也有相类似的两个进程，master 和 worker。master 就相当于 yarn...
Scala运算符
qq_57026298的博客
05-24 375
文章目录一、运算符等价于方法（一）运算符即方法（二）方法即运算符二、Scala运算符（一）运算符分类表（二）Scala运算符三、运算符种类（一） 中缀运算符（Infix Operator）（二） 前缀运算符（Prefix Operator）（三）后缀运算符（Postfix Operator）四、运算符优先级（一）简单说明（二）运算优先级表 一、运算符等价于方法 （一）运算符即方法 op运算符与**.op方法调用是等价的，op表示运算符：+、-、*、/……** 演示x + y与**x.+(y)**的等价性
spark-shell 基本用法
06-05 5705
spark-shell 是 scala 语言的 REPL（Read-Eval-Print-Loop，通俗地理解就是命令行模式） 环境，同时针对 spark 做了一些拓展。1. 启动 spark-shell 的方法1.1 本机$ spark-shell --master local[N] $ spark-shell --master local[*]通过设定local[N]参数来启动本地 Spark
Spark2.x 快速入门教程 7
oxuzhenyi的博客
06-07 1950
Spark Streaming 整合 Kafka 一、实验介绍 1.1 实验内容 Kafka是一个分布式的发布-订阅式的消息系统，可以作为 DStream 的高级数据源，本部分以单击统计为例介绍 Spark Streaming 程序从 kafka 中消费数据，包括两部分（基于 Kafka Receiver 方式，基于Kafka Direct方式)。 1.2 先学课程
Apache Spark入门指南
"该资源是一个关于Apache Spark的介绍性PDF文件，主要目的是让读者对Spark有一...这个PDF文件为初学者提供了一个全面的Spark入门教程，涵盖了从基础安装到高级特性的全方位指导，是学习和了解Apache Spark的理想起点。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值