问题描述:通过以下命令把自己的jar程序:cache_amis.jar提交到spark集群:client模式命令如下:
BASEDIR = /datafs
PROVICE=beijing
nohup /opt/cloudera/parcels/CDH/lib/spark/bin/spark-submit --class StartCBPS8 --master yarn --deploy-mode client --jars $BASEDIR/dom4j-1.3.jar,$BASEDIR/scala-actors-2.10.6.jar,$BASEDIR/ojdbc5.jar,$BASEDIR/jedis-2.7.3.jar --executor-memory 1g --executor-cores 4 ../bin/cache_chinalife_amis-0.0.1.jar $PROVICE > ../logs/cache-cbps8_$PROVICE-start.out 2>&1 &
该程序是一个spark-streaming+kafak的程序!那么怎么样才能看到里面的打印信息日志的最新10000行呢?
解决方法如下:
自己的程序可以在CDH的manager中的sparkUI中看到作业。当需要实时日志时,直接看日志就行了。但是发现只能看默认行数的日志!
如下图:可以修改主机想要的行数日志:start=-10000代表最后1000bytes的日志。
这样就不会导致日志太大而使得浏览器卡死啦!!!!
具体链接参考:
http://cdh1:19888/jobhistory/logs/cdh5:8041/container_1497435240138_1638_01_000001/container_1497435240138_1638_01_000001/root/stderr/?start=-20000
修改:start后面的参数即可!!