前言:
大数据集群集成 Kerberos
后,很多 WEBUI
打开都会提示输入用户名和密码。由于我想获取 flink 任务的详情,且 KNOX
并不支持Flink api
,所以只能是直接请求由 kerberos
保护的 flink rest api
地址了。
查看
KNOX
支持API的列表:https://docs.cloudera.com/cdp-private-cloud-base/7.1.7/knox-authentication/topics/security-knox-supported-services-matrix.html
。
这里介绍如何使用 curl
命令行的方式来访问受 Kerberos HTTP SPNEGO
保护的 URL。
前提:
- curl 版本需支持
GSS-Negotiate
keytab
文件或者kerberos
用户/密码curl -u
参数不可省略,但是username/password
可以省略
具体步骤:
- 要访问受
Kerberos HTTP SPNEGO
保护的URL
,请确保您的 版本支持GSS
并且能够运行 。
curl -V
curl 7.19.7 (universal-apple-darwin10.0) libcurl/7.19.7 OpenSSL/0.9.8l
zlib/1.2.3
Protocols: tftp ftp telnet dict ldap http file https ftps
Features: GSS-Negotiate IPv6 Largefile NTLM SSL libz
- 使用
kinit
登录到KDC
。
kinit -kt /opt/keytab/test.keytab test
或者
kinit
Please enter the password for username@LOCALHOST:
- 使用
curl
命令获取受保护的 URL。
我这里是调用的 flink on yarn
程序累加器的rest 请求。
curl --negotiate -u : http://1.1.1.1:8088/proxy/application 1694747643798_0956/jobs/c88ce26450f1f9dc6423eeodec31ada7/accumulators
- -
-negotiate
在curl 中开启SPNEGO
。 -u
该选项是必需的,但用户名和密码可以省略。-u
后面的分号不能省略。
参考:
- https://docs.cloudera.com/runtime/7.2.0/scaling-namespaces/topics/hdfs-curl-url-http-spnego.html
- https://hadoop.apache.org/docs/current/hadoop-hdfs-httpfs/UsingHttpTools.html