livy是cloudera开发的通过REST来连接。管理spark的解决方案,此文记录在使用livy中遇到的一些问题。
livy的安装
- livy安装不多赘述,可以从github上自己build,也可以直接从livy.io上直接下载tar包。
- 下载livy,解压后,在livy-env中添加
export SPARK_HOME=/home/cax/spark/spark-1.6.1-bin-hadoop2.6
export HADOOP_CONF_DIR=/etc/hadoop/conf
- 在livy.conf中可以进行一些配置
//默认使用hiveContext
livy.repl.enableHiveContext = true
//开启用户代理
livy.impersonation.enabled = true
//设置session空闲过期时间
livy.server.session.timeout = 1h
livy.server.session.factory = yarn/local本地模式或者yarn模式