hadoop 使用DNS(FQDN)完全限定域名

本文介绍了在Hadoop集群中使用DNS替代hosts文件进行域名映射的过程,强调了正反解析的重要性,并通过解决一个由于hosts配置错误导致的Kerberos认证失败的问题,揭示了DNS反解析在Kerberos认证中的关键作用。通过设置特定参数并调试代码,最终成功配置DNS反解析以确保集群正常运行。
摘要由CSDN通过智能技术生成

先说结论:

1.配置DNS(略),正反解析都要配置

2.在集群上配置下面两个参数

hadoop.security.dns.interface

hadoop.security.dns.nameserver

过程:

  1. 原来集群上使用hosts文件的方法进行的域名映射,每次增加机器,或者新的业务(比如spark-sreaming新增加一个kafka读取实例,就要在全体集群上的nm节点上增加对应的hosts)。也曾经想过synchosts文件,但是总感觉有点有点问题。
     
  2. 因为配置每个机器上的host比较麻烦,所以使用了dns。因为有一台集群hosts中文件没有配置正确,hosts的解析内容和hostname没有对应正确,差了一个字符,kerberos一直报错。检查了好多次配置都没发现问题的原因(其实是host文件中有两个记录,前面一条是错误的配置)。
  3. 问题解决后留下了一个疑问, 为什么一定要在hosts中加入正确的域名配置才行,明明已经在dns中配置了正确的解析呢?正好有这个报错日志,可以去看看这个原因是什么
    2019-03-13 23:38:41,147 WARN org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:yarn/node1@aliyun.com (auth:KERBEROS) cause:java.io.IOException: java.lang.IllegalArgumentException: Server has invalid Kerb
    eros principal: yarn/node1@aliyun.com, expecting: yarn/192.167.1.2@aliyun.com
    2019-03-13 23:38:41,152 INFO org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider: Failing over to rm127
    2019-03-13 23:38:41,155 WARN org.apache.hadoop.ipc.Client: Failed to connect to server: node0/192.167.1.246
    :8031: retries get failed due to exceeded maximum allowed retries number: 0
    java.net.ConnectException: Connection refused
            at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
            at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)
            at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
            at org.apache.hadoop.net.NetUtils.connect(N
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值