Spark
aaaaajiboke
你可以称呼我大佬
展开
-
Spark性能优化指南——高级篇
数据倾斜调优调优概述有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问题,以保证Spark作业的性能。数据倾斜发生时的现象绝大多数task执行得都非常快,但个别task执行极慢。比如...转载 2019-01-16 11:49:49 · 156 阅读 · 0 评论 -
spark笔记
1、spark架构与作业执行流程简介运行spark最简单的方法就是通过local模式(即伪分布模式)./bin/run-example org.apache.examples.SparkPi local2、基于Standalone的spark架构与作业执行流程Standalone模式下,集群启动时包括master与worker,其中master负责接受客户端提交的作业,管理work...原创 2019-01-06 23:09:12 · 146 阅读 · 0 评论