![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
JIMHUA
这个作者很懒,什么都没留下…
展开
-
Spark概念理解
一、整体结构1、 Application每一次通过Spark-submit命令提交的Jar包,都可以看成一个Spark应用程序。它是集群资源器调度的基本单位,一个应用程序对应一个驱动程序。用户程序,如计算PI的值,统计数据报表等2、Driver Program驱动程序就是执行了一个Spark Application的main函数和创建Spark Context的进程,它原创 2017-11-19 16:48:35 · 305 阅读 · 0 评论 -
Spark学习需要再弄清楚的问题
1、Spark的资源分配过程2、RDD运算过程3、Stage划分过程4、Task分配到executor的过程5、task的执行过程6、shuffle过程7、SQL到spark 应用的过程原创 2017-11-26 21:00:21 · 206 阅读 · 0 评论 -
OLAP理解
https://blog.csdn.net/njpjsoftdev/article/details/52953688OLAP:联机实时分析数据分类:维度和度量两个基本概念:CUBE和维度模型CUBE:多维数据集,f(x,y,z)->z维度模型:维度模型的概念出自于数据仓库领域,是数据仓库建设中的一种数据建模方法。维度模型主要由事实表和维度表这两个基本要素构成。事实表与维度表的融合就是维度模型...原创 2018-05-01 10:27:19 · 826 阅读 · 0 评论