livy安装与部署

最新推荐文章于 2025-02-23 03:18:58 发布

留不住斜阳

最新推荐文章于 2025-02-23 03:18:58 发布

阅读量3.2k

点赞数

分类专栏：大数据文章标签：大数据 hadoop spark cloudera restful

本文链接：https://blog.csdn.net/lubin2016/article/details/108037996

版权

本文介绍了在已经安装好的CDH 5.14.0集群上，如何部署Apache Livy。首先，将预编译的livy zip包解压到指定目录，接着创建livy用户和日志目录，然后配置livy的相关配置文件，包括livy.conf、livy-env.sh和spark-blacklist.conf。此外，还需在HDFS的配置中添加相关设置，并在HDFS上创建livy的目录，最后重启HDFS并启动livy服务，验证服务是否正常运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

livy安装部署有两种方式：直接下载Apache社区编译好的zip包安装部署，或者下载源码进行编译安装；本文采用Apache社区编译好的zip进行安装部署。

前提： 已经安装部署好CDH集群，版本为5.14.0

将livy安装包解压到/opt/cloudera目录下

[root@cdh001 ~]# ls /opt/cloudera/
apache-livy-0.7.0-incubating-bin  csd  parcel-cache  parcel-repo  parcels

创建livy用户、log目录并将livy的home目录属主修改为livy:hadoop

useradd livy -g hadoop
mkdir /var/log/livy
mkdir /var/run/livy
chown livy:hadoop /var/log/livy
chown livy:hadoop /var/run/livy
chown -R livy:hadoop /opt/cloudera/apache-livy-0.7.0-incubating-bin/

进入livy home目录，在conf目录下创建livy.conf、livy-env.sh、spark-blacklist.conf配置文件

livy.conf、livy-env.sh、spark-blacklist.conf

修改配置文件livy.conf，添加如下内容

livy.spark.master = yarn
livy.spark.deployMode = cluster
livy.environment = production

最低0.47元/天解锁文章