flink程序提交命令
flink run -d -m yarn-cluster \
-yD security.kerberos.login.keytab=/path/your/user.keytab \
-yD security.kerberos.login.principal=your@HADOOP.COM \
-c com.your.class.Name
flink on yarn认证原理
- flink程序启动,自动将keytab文件自动上传hdfs,由yarn管理,分发给每个executor缓存token,定时刷新。
- 基于以上原理,当自定义RichSinkFunction里需要是使用基于kerberos认证的组件时,不需要再做认证操作。
- 比如:hive、hbase、kudu等等,直接建立连接就可以访问