- 博客(2)
- 收藏
- 关注
原创 定时任务——crontab
对于spark任务来说,我们的任务分为实时任务、批处理任务两种。对于实时处理任务,我只需要调整好资源、批处理时间,启动后就会一直执行,就不用开发者操什么心了;但是对于spark批处理任务来说,任务执行的时间大部分在凌晨左右,如果每次执行任务都需要开发者手动启动,是很令人烦恼的。 针对批处理任务这种情况,就需要一个定时执行工具,来帮助我们按照设定时间自动执行任务,这个工具就是cron
2018-01-04 17:58:18 182
原创 对spark的理解——前序
本人接触apache spark时间不算短,自认为对spark有了一定的理解,所以想在此将本人对spark的理解写下来,能够与大家共同学习,共同进步。 从刚开始碰到一个问题满脸的懵逼,毫无头绪,无从下手,曾经为了解决一个问题花上两天两夜,所谓天道酬勤,只要努力想办法去解决,最终会柳暗花明的。对spark体会很深的几点:1、基本概念很重要,一定到理解到位。2、sp
2018-01-04 14:21:38 274
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人