后台运行spark-submit命令的方法

原创 2015年11月19日 16:33:12

在使用spark-submit运行工程jar包时常常会出现一下两个问题:
1.在程序中手打的log(如System.out.println(“***testRdd.count=”+testRdd.count()))常常会因被下一个Job的执行日志覆盖掉而无法查看日志;
2.一旦命令窗口被关闭或者电脑因断电等原因异常关闭,程序便终止运行。
其中,第一个问题可以通过将运行日志重定位到文件中来解决,命令如下:

spark-submit testSpark.jar > ~/testLog.out

运行上条命令则可将手打的log保存到~/testLog.out中,且日志中仅保存手打Log内容。

第二个问题,则可以通过后台运行Spark-submit命令nohip来解决,命令如下:

nohip spark-submit testSpark.jar &

运行上条命令则实现在后台运行spark命令,不用担心电脑异常关机以及命令行不小心关闭等问题,且输出日志保存在当前目录的nohip.out目录中。
如果希望既可以后台运行命令又可以将日志保存到目的文件中,则可将上述两个命令结合起来,命令如下:

nohip spark-submit testSpark.jar > ~/testLog.out &

如此,便可实现后台运行的问题,nohip不仅可以用于后台执行Spark命令,也可用于后台执行其他jar包,可具体查找nohip的使用方法。

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Apache Spark技术实战之6 -- spark-submit常见问题及其解决

Apache Spark技术实战之6 -- spark-submit常见问题及其解决 除本人同意外,严禁一切转载,徽沪一郎。 概要 编写了独立运行的Spark Applicati...

Spark --- 启动、运行、关闭过程

计算PI值// scalastyle:off println package org.apache.spark.examplesimport scala.math.randomimport org.a...

一个诡异的spark-submit运行问题(已解决)

今天在测试刚刚部署好的spark集群的时候,碰到了一个诡异的spark-submit问题。搜了一圈也没发现,结果意外的找到了原因,真是欲哭无泪! 问题:写好了一个计算Pi的程序,编译打包成 Com...

杀掉YARN上面的SparkSubmit任务

yarn application -kill appid //appid不需要引号就可以结束YARN上面跑的出现异常无法关闭的任务了。 :)...

spark-submit使用及说明

一、命令  1.向spark standalone以client方式提交job。 ? 1 ./spark-submit --master s...

cdh5-spark-submit程序日志查看最后指定行数

问题描述:通过以下命令把自己的jar程序:cache_amis.jar提交到spark集群:client模式命令如下: BASEDIR = /datafs PROVICE=beijing n...

使用spark-submit提交jar包到spark standalone集群(续)

继续上篇文章利用Intellij Idea在windows搭建spark 开发环境(含打jar包过程)(一) 以及 Sparksql处理json日志[要求sparksql统计json日志条数存入mys...

Spark的日志配置

在测试spark计算时,将作业提交到yarn(模式–master yarn-cluster)上,想查看print到控制台这是imposible的,因为作业是提交到yarn的集群上,so 去yarn集群...

Spark-submit提交任务到集群

1 IDEA 打包 示例代码参考AMPCamp2015之SparkSQL,开发环境使用idea。首先需要将程序打包成jar 选择project structure --》artif...
  • Kinger0
  • Kinger0
  • 2015年06月19日 16:01
  • 55389

shell 后台运行程序

1. & 最经常被用到 这个用在一个命令的最后,可以把这个命令放到后台执行 2. ctrl + z 可以将一个正在前台执行的命令放到后台,并且暂停 3. jobs 查看当前有多少在后台运行的...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:后台运行spark-submit命令的方法
举报原因:
原因补充:

(最多只允许输入30个字)