为啥看不到kylin on spark的日志?

为啥kylin on spark的日志看不到,明明在运行时是能看到的,但是停止后就看不到了呢?

在看下/user/spark/applicationHistory路径下根本没有kylin on spark 的app的日志.

先屡一下思路,自己运行的正常的spark app停止后是可以看到日志的,但是kylin on spark 却看不到,说明这个不是yarn JobHistory Server的锅,也不是spark-history-server的锅,那基本上kylin自己的问题,再加上之前kylin是需要自己配置spark,以及mr信息的参数.
所以基本上定位到kylin的spark配置部分了.

咱们具体来探个究竟:

more conf/kylin.properties  | grep spark-history
kylin.engine.spark-conf.spark.eventLog.dir=hdfs:///kylin/spark-history
kylin.engine.spark-conf.spark.history.fs.logDirectory=hdfs:///kylin/spark-history

修改默认的配置:

kylin.engine.spark-conf.spark.eventLog.dir=hdfs\:///user/spark/applicationHistory
kylin.engine.spark-conf.spark.history.fs.logDirectory=hdfs\:///user/spark/applicationHistory

点击上面的reload config,把之前的历史日志,移动到当前的路径下:

 hive> dfs -mv /kylin/spark-history/* /user/spark/applicationHistory/ ;

到此为止即可.