Livy安装使用

本次部署的livy是0.7.0版，zip包下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/incubator/livy/0.7.0-incubating/apache-livy-0.7.0-incubating-bin.zip

安装java jdk1.8

步骤：

一、将下载好的livy的zip包用命令unzip去解压(如果没有安装unzip，用yum -y install unzip指令安装)，解压完得到相应软件目录。

        

 

二、进入apache-livy-0.7.0-incubating-bin/conf/文件夹，执行 cp livy-env.sh.template livy-env.sh命令从模板中拷贝一份环境配置文件。

        

三、使用vim livy-env.sh指令修改环境配置文件：写入如下配置（HADOOP_CONF_DIR和SPARK_HOME位置要根据实际情况来配置）

export HADOOP_CONF_DIR=/etc/hadoop
export SPARK_HOME=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/spark
export LIVY SERVER JAVA OPTS="-XmX2G"

 四、执行cp livy.conf.template livy.conf命令拷贝一份配置文件。

                

 五、使用vim livy.conf指令在配置文件尾部写入如下配置：

livy.spark.master = yarn
livy.spark.deploy-mode = client
livy.server.session.timeout = 1h
livy.server.yarn.poll-interval = 5s

六、在apache-livy-0.7.0-incubating-bin目录下使用bin/livy-server start指令启动livy服务

（注意：启动livy服务之前zookeeper服务和hadoop服务必须先已经启动）

可使用bin/livy-server status命令查看当前livy服务是否启动。

                

 七、web界面地址：ip:8998/ui