大数据学习（09）--spark学习

最新推荐文章于 2022-07-01 16:23:50 发布

Zero-One-0101

最新推荐文章于 2022-07-01 16:23:50 发布

阅读量412

点赞数 1

分类专栏： ML&DL-大数据学习文章标签：大数据 spark

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/wangzi11111111/article/details/89175287

版权

ML&DL-大数据学习专栏收录该内容

16 篇文章 7 订阅

订阅专栏

目录

1.spark介绍

1.1 spark介绍

在这里插入图片描述

spark不仅仅是一个计算框架，而是一个大数据处理的平台，或者说生态。

1.2 scale介绍

在这里插入图片描述

1.3 spark和Hadoop比较

在这里插入图片描述

spark将运行的中间结果写入内存，而不是如MapReduce那样每次都写入磁盘，所以速度非常快，那么肯定就有疑问，内存相比于磁盘来说，那么小，如何解决大数据的中间结果的存储，spark是采用优先写内存，内存写满后，才往磁盘中写入。

2.spark生态系统

在这里插入图片描述

3.spark运行框架

3.1 基本概念

在这里插入图片描述

3.2 架构的设计

在这里插入图片描述

3.3 spark运行基本流程

在这里插入图片描述

3.4 spark运行原理

在这里插入图片描述

3.5 RDD运行原理

3.5.1 设计背景

在这里插入图片描述

3.5.2 RDD概念和特性

在这里插入图片描述

3.5.3 RDD之间的依赖关系

在这里插入图片描述

3.5.4 stage的划分

在这里插入图片描述

3.5.5 RDD的运行过程

在这里插入图片描述

4.spark SQL

4.1 shark的介绍

在这里插入图片描述

4.2 spark SQL的介绍

在这里插入图片描述

5.spark的部署和运行

5.1 三种部署方式

在这里插入图片描述

5.2 从Hadoop+Strom 架构转向spark架构

在这里插入图片描述

5.3 Hadoop 和spark的统一部署

在这里插入图片描述

6.spark编程实践

6.1 spark安装

在这里插入图片描述

6.2 启动spark shell

在这里插入图片描述

6.3 spark RDD的操作

在这里插入图片描述

6.4 spark应用程序

在这里插入图片描述

关注

1
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
大数据学习（09）--spark学习

文章目录目录1.spark介绍1.1 spark介绍1.2 scale介绍1.3 spark和Hadoop比较2.spark生态系统3.spark运行框架3.1 基本概念3.2 架构的设计3.3 spark运行基本流程3.4 spark运行原理3.5 RDD运行原理3.5.1 设计背景3.5.2 RDD概念和特性3.5.3 RDD之间的依赖关系3.5.4 stage的划分3.5.5 RDD的运行过...
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。