![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 95
极度丶浚爱
一个寻找生命价值的人。
展开
-
spark基本原理&UI界面解读
一级入口重点内容executors不同executors之间,是否存在负载倾斜不同executors之间,是否存在负载倾斜storage分布式数据集的缓存级别,内存,磁盘缓存比例SQL初步了解不同执行计划的执行时间,确实是否符合预期jobs初步感知不同jobs的执行时间,确实是否符合预期stage初步感知不同stage的执行时间,确实是否符合预期记录了以action为粒度,记录了每个action作业的情况。原创 2024-03-16 18:32:41 · 1815 阅读 · 1 评论 -
Spark Core
SparkCore1 认识 RDD(弹性分布式数据集)1.1 RDD 为什么会产生1.2 RDD 概述1.2.1 什么是 RDD1 认识 RDD(弹性分布式数据集)实现了 Spark 的基本功能,包含任务调度、内存管理、错误恢复、与存储系统 交互等模块。 Spark Core 中还包含了对弹性分布式数据集(resilient distributed dataset,简称 RDD)的 API ...原创 2020-03-17 14:31:58 · 386 阅读 · 0 评论 -
Spark SQL
Spark SQL1 Spark SQL 概述1.1 什么是 Spark SQL1.2 RDD vs DataFrames vs DataSet1.2.1 RDD1.2.2 Dataframe1.2.3 Dataset1 Spark SQL 概述1.1 什么是 Spark SQL结构化数据 不是NoSQLSpark SQL 是 Spark 用来处理结构化数据的一个模块,它提供了一个编程抽...原创 2020-03-18 22:25:22 · 146 阅读 · 0 评论 -
Spark认知&Spark环境搭建
Spark认知&Spark环境搭建1 Spark认知篇1.1 什么是Spark?1.2 Spark 特点1.2.1 快1.2.2 易用1.2.3 通用1.2.4 兼容性1.3 Spark 的用户和用途2 Spark 角色介绍及运行模式2.1 集群角色2.2 运行模式2.2.1 Local 模式2.2.2 Standalone 模式2.2.3 Yarn 模式2.2.4 Mesos 模式3 S...原创 2020-03-14 18:36:59 · 338 阅读 · 0 评论 -
SparkStreaming
SparkStreaming1 Spark Streaming 概述1.1 什么是 Spark Streaming1.2 Spark Streaming的特点1.3 Spark 与 Storm 的对比2 架构与抽象2.1 整体架构2.2 DStreams 抽象概念3 运行Spark Streaming3.1 IDEA 编写程序3.2 自定义接收器3.3 基本数据源文件数据源3.4 RDD 队列3....原创 2020-03-20 11:13:59 · 220 阅读 · 0 评论