authorize.AuthorizationException: User: livy is not allowed to impersonate

部署参考 livy安装:https://cloud.tencent.com/developer/article/1349537

此外需要在hdfs core-site.xml 配置如下代理:

 
<property>
<name>hadoop.proxyuser.livy.groups</name>
<value>*</value>
<description>Allow the superuser livy to impersonate any members of the group group1 and group2</description>
</property>
<property>
<name>hadoop.proxyuser.livy.hosts</name>
<value>*</value>
<description>The superuser can connect only from host1 and host2 to impersonate a user</description>
</property>

如果不配置的话,会有
ERROR: org.apache.hadoop.security.authorize.AuthorizationException: User: livy is not allowed to impersonate xxx

该警告会影响任务的提交.

配置完成后,别忘了重启hdfs,livy,yarn等

测试代码参考:
https://mp.weixin.qq.com/s?__biz=MzI4OTY3MTUyNg==&mid=2247487686&idx=1&sn=2d64bcdb7cced159508fd98b7e1ad623&chksm=ec2ac0cfdb5d49d944bcb74173c8914c8a9fbda3743cde459aeb053253237875101558a8147e&scene=21#wechat_redirect

    String  user = "livy";
    HashMap<String, String> headers = new HashMap<>();
    headers.put("Content-Type", "application/json");
    headers.put("Accept", "application/json");
    headers.put("X-Requested-By", user);
    //创建一个交互式会话

// String kindJson = “{“kind”: “spark”, “proxyUser”:“livy”}”;
// HttpUtils.postAccess(LIVY_HOST + “/sessions”, headers, kindJson);

    //执行code
    String code = "{\"code\":\"sc.parallelize(1 to 2).count()\"}";
    HttpUtils.postAccess(LIVY_HOST + "/sessions/0/statements", headers, code);
  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

mtj66

看心情

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值