Spark & Livy

简介

livy为Spark提供了REST接口，有如下特性:
* 提供交互式shell
* 批量提交
* 多用户使用用一个服务(用户模拟)
* 可以从任何地方使用REST的方式提交
* 无需对代码进行任何修改

获取源码，进行编译(如果编译不通过需使用vpn)

git clone git@github.com:cloudera/livy.git
cd livy-master
mvn -Dspark.version=1.6.2 -Dmaven.test.skip package

配置

vim conf/livy-env.sh
export SPARK_HOME=/usr/install/spark
export HADOOP_CONF_DIR=/usr/install/hadoop/etc/hadoop/conf

vim spark-blacklist.conf
注释spark.master
# spark.master

vim livy.conf
//默认使用hiveContext
livy.repl.enableHiveContext = true
//开启用户代理
livy.impersonation.enabled = true
//设置session空闲过期时间
livy.server.session.timeout = 1h

启动livy

nohup sudo -u admin ./livy-server >/dev/null 2>&1 &

通过端口8998访问

项目地址

https://github.com/cloudera/livy