livy使用样例_黑猴子的家：利用 livy 远程提交 spark作业

livy是cloudera开发的通过REST来连接。管理spark的解决方案，此文记录在使用livy中遇到的一些问题

1、livy的下载

livy安装不多赘述，可以从github上自己build，也可以直接从livy.io上直接下载tar包。

下载 地址 ：http://livy.io/quickstart.html

下载之后，解压即可运行

2、解压livy后，在livy-env.sh中添加

export SPARK_HOME=/opt/module/spark-2.1.1-bin-hadoop2.7.2

export HADOOP_CONF_DIR=/opt/module/hadoop/etc/conf

3、在livy.conf中可以进行一些配置

//默认使用hiveContext

livy.repl.enableHiveContext = true

//开启用户代理

livy.impersonation.enabled = true

//设置session空闲过期时间

livy.server.session.timeout = 1h

livy.server.session.factory = yarn/local本地模式或者yarn模式

4、开启livy服务

[root@node1 livy]$ /bin/livy-server

5、使用livy-session来执行spark-shell。

通过使用livy，可以通过rest来执行spark-shell。

new session。

curl -X POST --data '{"kind":