后台运行spark-submit命令的方法

原创 2015年11月19日 16:33:12

在使用spark-submit运行工程jar包时常常会出现一下两个问题:
1.在程序中手打的log(如System.out.println(“***testRdd.count=”+testRdd.count()))常常会因被下一个Job的执行日志覆盖掉而无法查看日志;
2.一旦命令窗口被关闭或者电脑因断电等原因异常关闭,程序便终止运行。
其中,第一个问题可以通过将运行日志重定位到文件中来解决,命令如下:

spark-submit testSpark.jar > ~/testLog.out

运行上条命令则可将手打的log保存到~/testLog.out中,且日志中仅保存手打Log内容。

第二个问题,则可以通过后台运行Spark-submit命令nohip来解决,命令如下:

nohip spark-submit testSpark.jar &

运行上条命令则实现在后台运行spark命令,不用担心电脑异常关机以及命令行不小心关闭等问题,且输出日志保存在当前目录的nohip.out目录中。
如果希望既可以后台运行命令又可以将日志保存到目的文件中,则可将上述两个命令结合起来,命令如下:

nohip spark-submit testSpark.jar > ~/testLog.out &

如此,便可实现后台运行的问题,nohip不仅可以用于后台执行Spark命令,也可用于后台执行其他jar包,可具体查找nohip的使用方法。

版权声明:本文为博主原创文章,未经博主允许不得转载。

spark job 独立的log4j配置方法

spark中提供了log4j的方式记录日志。可以在$SPARK_HOME/conf/下,将 log4j.properties.template 文件copy为 log4j.properties 来启...
  • xueba207
  • xueba207
  • 2015年12月30日 18:35
  • 4263

Spark的日志配置

在测试spark计算时,将作业提交到yarn(模式–master yarn-cluster)上,想查看print到控制台这是imposible的,因为作业是提交到yarn的集群上,so 去yarn集群...
  • stark_summer
  • stark_summer
  • 2015年07月17日 16:42
  • 48055

spark-submit使用及说明

一、命令  1.向spark standalone以client方式提交job。 ? 1 ./spark-submit --master s...
  • wwwxxdddx
  • wwwxxdddx
  • 2016年04月27日 15:56
  • 15052

spark提交命令详解

本片文章主要结合官网的提交说明进行,详情请看http://spark.apache.org/docs/latest/submitting-applications.html ./bin/spark-s...
  • wangxiaotongfan
  • wangxiaotongfan
  • 2015年07月16日 16:05
  • 4355

Spark脚本提交/运行/部署

本文转载地址:http://blog.csdn.net/sunbow0/article/details/42099331  尊重版权,谢谢分享 1、Spark脚本提交/运行/部署 ...
  • genghaihua
  • genghaihua
  • 2015年07月14日 10:39
  • 3012

杀掉YARN上面的SparkSubmit任务

yarn application -kill appid //appid不需要引号就可以结束YARN上面跑的出现异常无法关闭的任务了。 :)...
  • power0405hf
  • power0405hf
  • 2016年01月04日 19:34
  • 5956

Spark-submit提交任务到集群

1 IDEA 打包 示例代码参考AMPCamp2015之SparkSQL,开发环境使用idea。首先需要将程序打包成jar 选择project structure --》artif...
  • Kinger0
  • Kinger0
  • 2015年06月19日 16:01
  • 62816

一个诡异的spark-submit运行问题(已解决)

今天在测试刚刚部署好的spark集群的时候,碰到了一个诡异的spark-submit问题。搜了一圈也没发现,结果意外的找到了原因,真是欲哭无泪! 问题:写好了一个计算Pi的程序,编译打包成 Com...
  • infovisthinker
  • infovisthinker
  • 2015年12月22日 21:32
  • 3877

Spark优化之二:集群上运行jar程序,状态一直Accepted且不停止不报错

http://www.cnblogs.com/shixiangwan/p/6195297.html
  • u012307002
  • u012307002
  • 2017年03月27日 21:05
  • 886

抛开spark-submit脚本提交spark程序

在往yarn中提交spark程序的时候,需要使用到spark-submit脚本,spark-submit脚本会启动SparkSubmit类,再反射启动用户写的spark程序。如果我们能够抛开spark...
  • yhb315279058
  • yhb315279058
  • 2016年06月19日 18:00
  • 5576
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:后台运行spark-submit命令的方法
举报原因:
原因补充:

(最多只允许输入30个字)