livy-0.5安装

最新推荐文章于 2024-08-07 09:41:53 发布

mnasd

最新推荐文章于 2024-08-07 09:41:53 发布

阅读量1.2k

点赞数

分类专栏：大数据生态圈

本文链接：https://blog.csdn.net/mnasd/article/details/80539211

版权

大数据生态圈专栏收录该内容

27 篇文章 0 订阅

订阅专栏

$ cat conf/livy-env.sh
#!/usr/bin/env bash
SPARK_HOME=/opt/spark
HADOOP_CONF_DIR=/etc/hadoop/conf

$ cat conf/livy.conf
livy.server.session.factory = yarn

livy.spark.master = yarn-client
livy.impersonation.enabled = true
livy.repl.enable-hive-context = true
livy.server.csrf_protection.enabled = false

主要报错内容是：java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException:User: root is not allowed to impersonate anonymous

解决办法：通过httpfs协议访问rest接口，以root用户包装自己用户的方式操作HDFS

首先需要开启rest接口，在hdfs-site.xml文件中加入：

<property>  
<name>dfs.webhdfs.enabled</name>  
<value>true</value>  
</property>  
<property>

然后在core-site.xml文件中加入：

<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>