本人接触apache spark时间不算短,自认为对spark有了一定的理解,所以想在此将本人对spark的理解写下来,能够与大家共同学习,共同进步。
从刚开始碰到一个问题满脸的懵逼,毫无头绪,无从下手,曾经为了解决一个问题花上两天两夜,所谓天道酬勤,只要努力想办法去解决,最终会柳暗花明的。
对spark体会很深的几点:
1、基本概念很重要,一定到理解到位。
2、spark定位问题的方式有些与众不同,一定要形成一套解决问题的流程。
3、对saprk的部署方式、资源调度、任务调度要有自己的理解。
4、真正做过spark集群搭建。
5、对一个任务从提交,申请资源,分发task,调度,执行,到返回计算结果有一个清晰的认识。
6、提交模式不同,处理的差异很大。
需要注意的目前就想到这几点。。。。。。。后面与大家一块学习spark具体技术点,今天就大概谈一下本人对spark的理解。