Spark使用小技能
瓶子Annette
一名准程序媛的读研修炼…
展开
-
后台运行spark-submit命令的方法
在使用spark-submit运行工程jar包时常常会出现一下两个问题: 1.在程序中手打的log(如System.out.println(“***testRdd.count=”+testRdd.count()))常常会因被下一个Job的执行日志覆盖掉而无法查看日志; 2.一旦命令窗口被关闭或者电脑因断电等原因异常关闭,程序便终止运行。 其中,第一个问题可以通过将运行日志重定位原创 2015-11-19 16:33:12 · 12415 阅读 · 2 评论 -
定时执行spark-submit命令--Linux中使用crontab命令
项目部署时,一些批处理工作可能需要定时执行,如每天进行统计、每天清理系统垃圾、定期进行ETL工作等等都需要定时执行命令。在Linux中,定时通过spark-submit提交任务可使用crontab来实现。 1.安装crontab。CentOS系统并未自带crontab,可使用yum安装yum install vixie-cron crontabs2.将需要执行的spark-submit命令做成sh原创 2016-01-04 17:32:32 · 9836 阅读 · 0 评论