对spark的理解——前序

       本人接触apache spark时间不算短,自认为对spark有了一定的理解,所以想在此将本人对spark的理解写下来,能够与大家共同学习,共同进步。

       从刚开始碰到一个问题满脸的懵逼,毫无头绪,无从下手,曾经为了解决一个问题花上两天两夜,所谓天道酬勤,只要努力想办法去解决,最终会柳暗花明的。

对spark体会很深的几点:

1、基本概念很重要,一定到理解到位。

2、spark定位问题的方式有些与众不同,一定要形成一套解决问题的流程。

3、对saprk的部署方式、资源调度、任务调度要有自己的理解。

4、真正做过spark集群搭建。

5、对一个任务从提交,申请资源,分发task,调度,执行,到返回计算结果有一个清晰的认识。

6、提交模式不同,处理的差异很大。

需要注意的目前就想到这几点。。。。。。。后面与大家一块学习spark具体技术点,今天就大概谈一下本人对spark的理解。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值