- 博客(2)
- 收藏
- 关注
RSS订阅原创 定时任务——crontab
对于spark任务来说，我们的任务分为实时任务、批处理任务两种。对于实时处理任务，我只需要调整好资源、批处理时间，启动后就会一直执行，就不用开发者操什么心了；但是对于spark批处理任务来说，任务执行的时间大部分在凌晨左右，如果每次执行任务都需要开发者手动启动，是很令人烦恼的。 针对批处理任务这种情况，就需要一个定时执行工具，来帮助我们按照设定时间自动执行任务，这个工具就是cron
2018-01-04 17:58:18
178
原创 对spark的理解——前序
本人接触apache spark时间不算短，自认为对spark有了一定的理解，所以想在此将本人对spark的理解写下来，能够与大家共同学习，共同进步。 从刚开始碰到一个问题满脸的懵逼，毫无头绪，无从下手，曾经为了解决一个问题花上两天两夜，所谓天道酬勤，只要努力想办法去解决，最终会柳暗花明的。 对spark体会很深的几点： 1、基本概念很重要，一定到理解到位。 2、sp
2018-01-04 14:21:38
273
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人