为什么要更改Livy的Session生命周期?
使用LivyREST接口提交SparkJob时,任务执行成功后,过段时间Session和Job or Bathes的ID则会被清空,导致Spark任务的执行结果可能会查询不到,所以需要更改一下Livy的生命周期。
首先如果是在CDH环境下,则只需要在Livy的WebUI界面更新一下配置文件。
添加livy.server.session.timeout=5h
修改这个配置文件后重启Livy服务就OK了。
如果不是集群环境的话,则只需要修改livy的配置文件livy.conf
[root@cdh01 ~]# vi /etc/Livy/livy-conf/livy.conf
```java
livy.impersonation.enabled=true
livy.repl.enable-hive-context=true
livy.server.host=0.0.0.0
livy.server.port=8998
livy.spark.deploy-mode=cluster
livy.spark.master=yarn
livy.server.session.timeout=5h #设置为5小时
这样的话,每次提交的任务则会保存5个小时