Livy设置Session生命周期

为什么要更改Livy的Session生命周期?

使用LivyREST接口提交SparkJob时,任务执行成功后,过段时间Session和Job or Bathes的ID则会被清空导致Spark任务的执行结果可能会查询不到,所以需要更改一下Livy的生命周期。
首先如果是在CDH环境下,则只需要在Livy的WebUI界面更新一下配置文件。
添加livy.server.session.timeout=5h
设置Livy SessionTimeOut为5小时修改这个配置文件后重启Livy服务就OK了。

如果不是集群环境的话,则只需要修改livy的配置文件livy.conf

[root@cdh01 ~]# vi /etc/Livy/livy-conf/livy.conf
```java
livy.impersonation.enabled=true
livy.repl.enable-hive-context=true
livy.server.host=0.0.0.0
livy.server.port=8998
livy.spark.deploy-mode=cluster
livy.spark.master=yarn
livy.server.session.timeout=5h #设置为5小时

这样的话,每次提交的任务则会保存5个小时

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值