HBase中由Reverse DNS引起的问题

原创 2015年07月06日 21:20:45

参考: HowTo Test or Check Reverse DNS on a Linux / Unix

使用HBase时的Reverse DNS相关问题


当我们把HBase的Table作为MapReduce或者Spark的输入数据源时,容易碰到如下的问题:

15/07/06 17:03:31 WARN TableInputFormatBase: Cannot resolve the host name for ecs1.njzd.com/10.163.104.81 because of javax.naming.NameNotFoundException: DNS name not found [response code 3]; remaining name ‘81.104.163.10.in-addr.arpa’

15/07/06 17:03:31 INFO RegionSizeCalculator: Calculating region sizes for table “sentiments:salted”.

15/07/06 17:03:33 WARN TableInputFormatBase: Cannot resolve the host name for ecs2.njzd.com/10.163.105.115 because of javax.naming.NameNotFoundException: DNS name not found [response code 3]; remaining name ‘115.105.163.10.in-addr.arpa’


以上问题的实质,就是集群中的Reverse DNS不能正常工作。所以,我们要保证集群中的每一个rDNS都能正常工作



验证Reverse DNS是否正常


首先来验证,Reverse DNS是否确实不能正常工作。这里正常工作的定义是:集群中的每一个节点的Reverse DNS都要能正常工作,即能根据任意一个节点的IP查询它对应的hostname。


验证命令

host IP



例如,要验证某个节点的rDNS是否正常工作,我们只需要准备好一个该节点应该知道hostname的IP(假定是10.163.105.115),并在该节点上运行以下命令:

host 10.163.105.115



如果返回的是类似于如下的结果(即给出了该IP对应的hostname):

115.105.163.10.in-addr.arpa domain name pointer ecs2.njzd.com.

则说明该节点的rDNS是正常工作的。




配置rDNS


最简单的方法就是利用/etc/hosts中IP与hostname的关系。


#1、禁用DNS Server
编辑etc/resolv.conf,把所有的DNS项(即形如 nameserver <ip>的行)都注释掉


#2、完善/etc/hosts文件
将该文件中的所有ip与hostname的项都写正确


#3、调用命令dnsmasq
如果没有该命令,则先用yum install dnsmasq安装,然后运行命令dnsmasq


在集群中的每一个节点都用上述方法来保证每个节点的rDNS都是正常的。


现在,以HBase table为数据源运行MR job或Spark job,应该不会再报上述的Cannot resolve the host name for xxx/yyy because of javax.naming.NameNotFoundException: DNS name not found这样的异常了

版权声明:

相关文章推荐

DNS中的正向解析与反向解析 及 nslookup命令使用

DNS中的正向解析与反向解析 - Jackxin Xu IT技术专栏 - 博客频道 - CSDN.NET  http://blog.csdn.net/jackxinxu2100/article/de...

HBase的这些配置参数你都懂了吗?

测试时发现理解这些参数都代表什么意义非常的重要,而且通过参数调优可以提高性能,希望仔细阅读一下每个属性代表的意义!  <!-- /** * Copyright 2009 The Apach...

MapReduce连接Hbase时报错及处理

MapReduce连接Hbase时报错及处理我的Map class如下:package com.hbasepackage;import java.io.IOException;import org.a...

DNS Reverse Download and Exec Shellcode

## # Shellcode: download and execute file via reverse DNS channel # # # Features: # * Windows 7 test...

DNS的服务器配置问题

  • 2014-04-13 15:53
  • 68KB
  • 下载

[LeetCode] Reverse Linked List I II - 链表翻转问题

[LeetCode] Reverse Linked List I II - 链表翻转问题 题目概述: Reverse a singly linked list. 翻转一个单链表,如:1->2 输出 2...

dns的问题

  • 2007-10-17 14:53
  • 844KB
  • 下载

dns修复ie网络问题

  • 2013-07-12 14:37
  • 573KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)