![](https://img-blog.csdnimg.cn/1fec13f77db041df82d005d63608fa97.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Spark
Spark
Lumos`
努力努力再努力
展开
-
第三章 Spark运行模式及原理
第三章 Spark运行模式及原理 目录 Spark运行模式概述 Local模式 Standalone模式 Local cluster模式 Mesos模式 YARN standalone/YARN cluster模式 YARN client模式 各种模式的实现细节比较 Spark1.0版本之后的变化 小结 注:学习《Spark大数据处理技术》笔记 1. Spark运行模式概述 1. Spar...原创 2020-02-16 14:52:52 · 236 阅读 · 0 评论 -
第二章 Spark RDD以及编程接口
第二章 Spark RDD以及编程接口 目录 Spark程序"Hello World" Spark RDD 创建操作 转换操作 控制操作 行动操作 注:学习《Spark大数据处理技术》笔记 1. Spark程序"Hello World" 1. 概述 计算存储在HDFS的Log文件中出现字符串"Hello World"的行数 2. 代码实现 3. 行解 第一行 对于所有的Spark程...原创 2020-02-15 14:25:29 · 337 阅读 · 0 评论 -
第一章 Spark系统概述
第一章 Spark系统概述 目录 大数据处理框架 Spark大数据处理框架 RDD表达能力 Spark子系统 注:学习《Spark大数据处理技术》笔记 1. 大数据处理框架 1. 集群环境对于编程的挑战 并行化 对单节点失败的处理 资源分配问题 2. 由此产生了大数据编程框架 MapReduce 是什么?一个简单通用和自动容错的批处理计算模型 缺点:交互式和流处理,MapRe...原创 2020-02-08 20:55:25 · 431 阅读 · 0 评论 -
Spark之Spark概述
Spark之Spark概述 什么是Spark Spark内置项目介绍 Spark特点 Spark的用户和用途 1. 什么是Spark Spark是一种快速、通用、可扩展的大数据分析引擎,2009年诞生于加州大学伯克利分校AMPLab,2010年开源,2013年6月成为Apache孵化项目,2014年2月成为Apache顶级项目。项目是用Scala进行编写。 目前,Spark生态...原创 2019-06-13 21:46:41 · 352 阅读 · 0 评论 -
Spark之Spark角色介绍及运行模式
Spark之Spark角色介绍及运行模式 集群角色 运行模式 1. 集群模式 从物理部署层面上来看,Spark主要分为两种类型的节点,Master节点和Worker节点: Master节点主要运行集群管理器的中心化部分,所承载的作用是分配Application到Worker节点,维护Worker节点,Driver,Application的状态。 Worker节点负责具体的业务运行。 从...原创 2019-06-15 15:22:32 · 677 阅读 · 0 评论