【kerberos】使用 curl 访问受 Kerberos HTTP SPNEGO 保护的 URL

前言:

大数据集群集成 Kerberos 后,很多 WEBUI 打开都会提示输入用户名和密码。由于我想获取 flink 任务的详情,且 KNOX 并不支持Flink api,所以只能是直接请求由 kerberos 保护的 flink rest api 地址了。

查看 KNOX 支持API的列表:https://docs.cloudera.com/cdp-private-cloud-base/7.1.7/knox-authentication/topics/security-knox-supported-services-matrix.html

这里介绍如何使用 curl 命令行的方式来访问受 Kerberos HTTP SPNEGO 保护的 URL。

在这里插入图片描述

前提:

  1. curl 版本需支持 GSS-Negotiate
  2. keytab 文件或者 kerberos 用户/密码
  3. curl -u 参数不可省略,但是username/password 可以省略

具体步骤:

  1. 要访问受 Kerberos HTTP SPNEGO 保护的 URL,请确保您的 版本支持 GSS 并且能够运行 。
curl -V
curl 7.19.7 (universal-apple-darwin10.0) libcurl/7.19.7 OpenSSL/0.9.8l
zlib/1.2.3
Protocols: tftp ftp telnet dict ldap http file https ftps
Features: GSS-Negotiate IPv6 Largefile NTLM SSL libz
  1. 使用 kinit 登录到 KDC
kinit -kt /opt/keytab/test.keytab test

或者
kinit
Please enter the password for username@LOCALHOST:
  1. 使用 curl 命令获取受保护的 URL。

我这里是调用的 flink on yarn 程序累加器的rest 请求。

curl --negotiate -u :  http://1.1.1.1:8088/proxy/application 1694747643798_0956/jobs/c88ce26450f1f9dc6423eeodec31ada7/accumulators
  • --negotiate 在curl 中开启 SPNEGO
  • -u 该选项是必需的,但用户名和密码可以省略。
  • -u 后面的分号不能省略。

参考:

  • https://docs.cloudera.com/runtime/7.2.0/scaling-namespaces/topics/hdfs-curl-url-http-spnego.html
  • https://hadoop.apache.org/docs/current/hadoop-hdfs-httpfs/UsingHttpTools.html
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要创建一个Kerberos用户来访问Hadoop,您需要采取以下步骤: 1. 创建一个Kerberos用户账户。您可以使用命令行工具kadmin来创建,例如: ``` sudo kadmin.local -q "addprinc -randkey <username>" ``` 其中,`<username>`是您要创建的Kerberos用户名。 2. 为该用户生成keytab文件。keytab文件包含了用户的Kerberos凭据,用于在不需要交互式输入密码的情况下进行身份验证。您可以使用命令行工具kadmin来生成keytab文件,例如: ``` sudo kadmin.local -q "ktadd -k /path/to/keytab <username>" ``` 其中,`/path/to/keytab`是您要生成的keytab文件的路径。 3. 将keytab文件分发到Hadoop集群的所有节点上。您可以使用scp命令将文件复制到每个节点上,例如: ``` scp /path/to/keytab <node>:/path/to/keytab ``` 其中,`<node>`是Hadoop集群中的节点。 4. 配置Hadoop以使用Kerberos身份验证。您需要编辑Hadoop配置文件core-site.xml和hdfs-site.xml,添加以下属性: ``` <property> <name>hadoop.security.authentication</name> <value>kerberos</value> </property> <property> <name>hadoop.security.authorization</name> <value>true</value> </property> <property> <name>hadoop.security.auth_to_local</name> <value> RULE:[1:$1@$0](.*@EXAMPLE.COM)s/@.*// RULE:[2:$1@$0](.*@EXAMPLE.COM)s/.*/hdfs/ </value> </property> <property> <name>dfs.namenode.keytab.file</name> <value>/path/to/keytab</value> </property> <property> <name>dfs.namenode.kerberos.principal</name> <value>hdfs/[email protected]</value> </property> ``` 其中,`/path/to/keytab`是keytab文件的路径,`hdfs/[email protected]`是Hadoop集群的Kerberos服务主体。 5. 重启Hadoop服务以使配置更改生效。 现在,您可以使用Kerberos用户名和keytab文件访问Hadoop集群。例如,您可以使用以下命令在HDFS上创建目录: ``` sudo -u hdfs kinit -kt /path/to/keytab <username> sudo -u hdfs hdfs dfs -mkdir /user/<username> ``` 其中,`<username>`是您的Kerberos用户名。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值