![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark-Core实战班
Spark-Core高级
Spark on yarn
这个作者很懒,什么都没留下…
展开
-
Spark-Core(四) - Shuffle剖析&&ByKey算子解析&&Spark中的监控&&广播变量、累加器
一、Spark-Core(三)回顾1.1、Spark on yarn的运行方式二、Shuffle的剖析2.1、遇到action产生job2.2、job产生stage2.3、rdd中的cache2.4、Spark-shell中测试rdd缓存 && StorageLevel2.5、Spark-Core中的框架选择(MEMORY_ONLY)2.6、recomputing重算概念2.7、Spark中的宽窄依赖三、回顾Hadoop中的Yarn3.1、 Spark on原创 2020-06-13 12:02:21 · 494 阅读 · 0 评论 -
Spark-Core(三) - Stage剖析&&Spark on yarn的两种模式
一、Spark-Core(二)回顾二、Stage剖析2.1、遇到action产生job2.2、job产生stage2.3、rdd中的cache2.4、Spark-shell中测试rdd缓存 && StorageLevel2.5、Spark-Core中的框架选择(MEMORY_ONLY)2.6、recomputing重算概念2.7、Spark中的宽窄依赖三、Spark的运行架构(重要指数五颗星)3.1 总结3.2 Cluster Mode Overview一、S原创 2020-06-11 16:41:03 · 445 阅读 · 0 评论 -
Spark-Core(二) - LogApp日志数据的解析&&Spark的运行架构
一、Spark-Core基础篇回顾二、Spark如何进行大数据的逻辑处理2.1、入门代码遇到的一个简单错误2.2、求得买个域名下的流量之和2.3、每个省份访问次数的TopN(生产上边界值的处理)三、Spark的运行架构(重要指数五颗星)3.1 总结3.2 Cluster Mode Overview一、Spark-Core基础篇回顾1、为什么选择Spark?Fast:10倍于disk磁盘、100倍于memory内存Easy code:编码容易、交互式的命令行interactiv原创 2020-06-10 17:20:05 · 335 阅读 · 0 评论