Spark学习笔记 【官网翻译-概览】

已于 2023-03-20 07:51:03 修改
阅读量64 收藏
点赞数 2
分类专栏： 大数据 spark 文章标签： spark 大数据
于 2023-03-13 20:46:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xuschang/article/details/129502640
版权

Spark 3.3.2概览

主要模块如下

  • RDD编程
  • Spark SQL
  • Structured Streaming
  • Spark Steaming
  • Spark SQL CLI

Spark具有多种的运行方式，shell，pyspark，spark-submit等等。可以运行在集群上，支持standalone，yarn，kubernetes不同模式。

Spark提交流程

  • 集群模式
  • Submitting Applications
  • YARN
  • Kubernetes

还有一些其他的文档

  • Configuration
  • Monitoring
  • Tuning Guide
  • Job Scheduling
  • Security
  • Hardware Provisioning
  • 其他存储系统
  • 第三方项目

该系列整体的学习翻译路径也会和上述的步骤一致.

集群模式概览

油纸雨伞
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
《Spark官方文档》监控和工具-学习笔记
TRX的博客
03-10 2093
官网链接：Monitoring and Instrumentation - Spark 3.2.1 Documentation 有几种方法可以监控Spark应用程序：Web UI、metrics 以及外部工具。 Web UI 每个SparkContext都会启动一个web UI，其默认端口为4040，并且这个web UI能展示很多有用的Spark应用相关信息。包括： 一个stage和task的调度列表 一个关于RDD大小以及内存占用的概览 运行环境相关信息 运行中的执行器相关信息 你只需打
Spark学习笔记1：Spark概览
feijiges的博客
09-15 347
Spark是一个用来实现快速而通用的集群计算的平台。 Spark项目包含多个紧密集成的组件。Spark的核心是一个对由很多计算任务组成的，运行在多个工作机器或者是一个计算集群上的应用进行调度，分发以及监控的计算引擎。Sark核心引擎有着速度快和通用的特点，因此Spark支持为各种不同应用场景专门设计的高级组件，这些组件关系密切并且可以互相调用。 Spark各组件密切结合的设计原理的优点：软件栈
spark官网首页翻译
xiaogao2017的博客
11-29 2398
http://spark.apache.org/ 翻译
spark 学习笔记
振裕
01-01 2474
spark 学习笔记《spakr快速大数据分析》 书中例子是以spark1.2为基础写的。第二章启动 ipython IPYTHON=1 ./bin/pyspark 使用ipython notebook IPYTHON_OPTS="notebook" ./bin/pyspark 在windows上启动 set IPYTHON=1 \n bin\pyspark将py程序提交到spark执行
Spark学习笔记
10-29
### Spark学习笔记 #### Spark概览 ##### 1. Spark简介 - **定义**：Apache Spark是一种快速且通用的大规模数据处理系统，旨在为大规模数据处理提供高效的支持。 - **起源**：Spark最初由美国加州大学伯克利分校的...
Spark学习笔记：DStream的transformation操作概览
lrxcmwy2的博客
09-16 785
DStream的transformation操作概览 一.Spark Streaming开发步骤 创建输入DStream，如将Flume、Kafka、HDFS和Socket等作为数据源 对输入DStream进行转换操作 对转换后的DStream进行输出操作，比如存储到DBMS中 二.DStream分类 Input DStream，是最原始最初的DStream，它是依据不同的数据源创建的，...
Spark (Python版) 零基础学习笔记（四）—— Spark概览
哇哇小仔的博客
11-23 2957
结合了《Learning Spark: Lightning-Fast Big Data Analysis》和官方2.02版本的Spark Document总结了关于Spark概念性的一些知识。帮助大家对Spark有一个总体上的认知一、Spark的两个核心概念： RDD：弹性分布式数据集 Shared variables：共享变量 二、Spark组件：Spark集成了很多组件。Spark的内核是一个计
Spark学习笔记：Spark Streaming算子开发实例
lrxcmwy2的博客
09-19 902
Spark Streaming算子开发实例
大数据Spark_带有视屏_以及笔记_全面
09-17
### 大数据Spark学习资源 #### 九、提供的学习资料 - **视频教程**：视频教程包含了Spark的基本概念、安装配置、核心组件介绍等内容，适合初学者入门。 - **笔记文档**：笔记文档详细记录了学习过程中的重点难点，...
Spark 之 map 与 flatMap 的区别
跟着大数据和AI去旅行
08-24 330
map 函数 它将某个函数应用到集合中的每个元素，并产生一个结果集合。 我们可以这样对列表的元素进行平方： scala> list1 res3: List[Int] = List(0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10) scala> list1.map(x=>x*x) res4: List[Int] = List(0, 1, 4, 9, 16, 25, 36
计算机毕业设计pyspark+django+scrapy租房推荐系统 租房大屏可视化 租房爬虫 hadoop 58同城租房爬虫 房源推荐系统
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
08-19 1302
计算机毕业设计pyspark+django+scrapy租房推荐系统 租房大屏可视化 租房爬虫 hadoop 58同城租房爬虫 房源推荐系统
分享一个基于文本挖掘的微博舆情分析系统Python网络舆情监控系统Flask爬虫项目大数据（源码、调试、LW、开题、PPT）
m0_72599287的博客
08-24 1493
本系统的开发旨在构建一个高效的微博舆情分析与监控平台，帮助企业、政府及相关机构实时了解社交媒体上的舆情动态。通过Scrapy爬虫技术自动化地采集微博中与特定舆情相关的数据，并将其存储到MySQL数据库中，以便后续的数据处理和分析。系统还集成了大屏可视化分析功能，通过Echarts展示微博数据的多维度统计信息，如评论、分享、点赞数量以及发布城市和舆情数量等，帮助用户直观地掌握舆情分布和发展态势，为及时应对突发事件和优化决策提供数据支持。
（十六）Flink 状态管理
springk的专栏
08-24 328
根据数据集是否按照 Key 划分，将状态分为 Keyed State 和 Operator State（Non-keyed State）两种类型。本章我们将从状态的类型、状态有效期、状态存储、状态持久化方面，结合实际案例，详细进行介绍。
SparkSQL DML语句详解
最新发布
SunnyRivers
08-27 180
数据操作语句用于添加、更改或删除数据。LOAD。
使用docker-compose 搭建es集群
weixin_59367598的博客
08-22 847
docker 部署 es 集群
学习大数据DAY44 帆软 report 配置
shh2000424的博客
08-23 1111
署，并设置服务器开机自启动，并请实操演示 得分点（完成得满分，未完成得。服务器容器的端口修改，并将内存调大，请实操演示 得分点（完成得。2 部署 tomcat web 服务。1 安装帆软 report v11。配置环境变量 推荐用自己的名字。等几秒查看下进程或者端口。3 显示 帆软 报表平台。分 服务器开机自启动。初始化设置下用户和密码。在它的第二行上面添加。
Flink CDC Standalone模式部署及Flink CDC Job提交
L
08-23 167
独立模式（Standalone mode）是Flink最简单的部署模式。本文将介绍如何下载、安装和运行Flink CDC。Flink CDC是基于Flink开发的一个流式数据集成工具。所以按照Flink CDC需要事先按照Flink。具体安装请参见。本文选用Flink CDC 3.1.0和Flink 1.17.2。
Kafka线上问题优化
weixin_43451620的博客
08-24 224
如果为了消息的不重复消费，而把生产端的重试机制关闭，消费端的手动提交改为自动提交，这样反而会出现消息丢失。那么可以直接在防止消息丢失的手段上加上消费消息时的幂等性特保证，便能解决重复消费的问题。消息积压会导致很多问题，比如：磁盘被打满、生产端发消息导致kafka性能过慢，就容易出现服务雪崩，就需要相应的处理手段。消费者订阅相应的topic，消费时轮询消费整个topic中的消息。消息发送者发送消息到相应的topic，并带上消息的发送时间。创建多个topic，每个topic表示延时的间隔。
大数据spark企业级实战版【学习笔记】---spark简介
03-16
Spark是一个基于内存计算的分布式计算框架，它可以在大规模数据处理中提供高效的数据处理能力。Spark支持多种编程语言，包括Java、Scala、Python和R等，可以在不同的数据处理场景中灵活应用。Spark的核心是RDD（弹性分布式数据集），它是一种分布式的内存抽象，可以在不同的节点上并行处理数据。Spark还提供了许多高级API，如Spark SQL、Spark Streaming、MLlib和GraphX等，可以满足不同的数据处理需求。Spark的优点包括高速、易用、可扩展性强等，因此在大数据处理领域得到了广泛应用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值