HBase中由Reverse DNS引起的问题

原创 2015年07月06日 21:20:45

参考: HowTo Test or Check Reverse DNS on a Linux / Unix

使用HBase时的Reverse DNS相关问题


当我们把HBase的Table作为MapReduce或者Spark的输入数据源时,容易碰到如下的问题:

15/07/06 17:03:31 WARN TableInputFormatBase: Cannot resolve the host name for ecs1.njzd.com/10.163.104.81 because of javax.naming.NameNotFoundException: DNS name not found [response code 3]; remaining name ‘81.104.163.10.in-addr.arpa’

15/07/06 17:03:31 INFO RegionSizeCalculator: Calculating region sizes for table “sentiments:salted”.

15/07/06 17:03:33 WARN TableInputFormatBase: Cannot resolve the host name for ecs2.njzd.com/10.163.105.115 because of javax.naming.NameNotFoundException: DNS name not found [response code 3]; remaining name ‘115.105.163.10.in-addr.arpa’


以上问题的实质,就是集群中的Reverse DNS不能正常工作。所以,我们要保证集群中的每一个rDNS都能正常工作



验证Reverse DNS是否正常


首先来验证,Reverse DNS是否确实不能正常工作。这里正常工作的定义是:集群中的每一个节点的Reverse DNS都要能正常工作,即能根据任意一个节点的IP查询它对应的hostname。


验证命令

host IP



例如,要验证某个节点的rDNS是否正常工作,我们只需要准备好一个该节点应该知道hostname的IP(假定是10.163.105.115),并在该节点上运行以下命令:

host 10.163.105.115



如果返回的是类似于如下的结果(即给出了该IP对应的hostname):

115.105.163.10.in-addr.arpa domain name pointer ecs2.njzd.com.

则说明该节点的rDNS是正常工作的。




配置rDNS


最简单的方法就是利用/etc/hosts中IP与hostname的关系。


#1、禁用DNS Server
编辑etc/resolv.conf,把所有的DNS项(即形如 nameserver <ip>的行)都注释掉


#2、完善/etc/hosts文件
将该文件中的所有ip与hostname的项都写正确


#3、调用命令dnsmasq
如果没有该命令,则先用yum install dnsmasq安装,然后运行命令dnsmasq


在集群中的每一个节点都用上述方法来保证每个节点的rDNS都是正常的。


现在,以HBase table为数据源运行MR job或Spark job,应该不会再报上述的Cannot resolve the host name for xxx/yyy because of javax.naming.NameNotFoundException: DNS name not found这样的异常了

HBase 默认配置

1. hbase.rootdir 这个目录是 RegionServer 的共享目录,用来持久化 HBase。URL 需要是 “完全正确” 的,还要包含文件系统的 scheme。 例如 “/hba...
  • u011414200
  • u011414200
  • 2016年01月05日 15:58
  • 5517

编写MR运行在Hbase上面注意事项

最近很久没写blog了,主要精力在搭建和部署Hbase上面。 因为对Hbase了解不多,以下碰到的问题都是很基础问题: 1、运行MR程序时出现: 13/03/07 14:04:58 INFO m...
  • chenyi8888
  • chenyi8888
  • 2013年03月07日 16:32
  • 7568

HBase官方指南(2015最新版本)-配置详解篇-d

  • 2016年01月19日 12:50
  • 1.71MB
  • 下载

hbase-site.xml 配置详解

该文档是用hbase默认配置文件生成的,文件源是 hbase-default.xml hbase.rootdir 这个目录是region server的共享目录,用来持久化HBase。URL需要是...
  • ningxuezhu
  • ningxuezhu
  • 2016年01月20日 13:40
  • 16538

javax.naming.NameNotFoundException

2015-08-27 09:53:16,463 [localhost-startStop-1] DEBUG [org.springframework.jndi.JndiTemplate] - Look...
  • superdog007
  • superdog007
  • 2015年08月27日 10:17
  • 26163

HBase unknown host异常问题解决方法

* HBase client 初始化连接流程 # 当使用HBase配置创建HTable对象时,最终会得到与RegionServer服务器的连接,使用该连接对RegionServer服务器上的数据操作...
  • mudsong
  • mudsong
  • 2013年02月20日 10:59
  • 3756

Hbase HA 分布式搭建

一 背景 二 HBase 搭建前准备 1 主机规划 2 系统基本配置 jdk ssh hosts 3 网络时间协议 NTP 4 安装 ZooKeeper 三 HBase 安装配置 1 下载解压 H...
  • u011414200
  • u011414200
  • 2016年01月01日 10:25
  • 3760

HBase官方指南(2015最新版本)-配置详解篇

  • 2016年01月19日 12:44
  • 1.71MB
  • 下载

HBase客户端host末配置引起的一个错误

昨天碰到一个问题。hbase数据在执行put的时候,程序挂死。 特记录一下。 问题描述: 程序往hbase中插入数据,发现在其中一台机器上面执行的时候,程序总是是挂死。 使用jstack查看时候...
  • eyoulc123
  • eyoulc123
  • 2016年02月28日 15:59
  • 661

hadoop hbase hive 常见问题解决

Hadoop常见问题,hbase常见问题,hive常见问题。结合网络资料 和自己遇到的整理。...
  • lhy66
  • lhy66
  • 2015年03月24日 10:29
  • 35819
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:HBase中由Reverse DNS引起的问题
举报原因:
原因补充:

(最多只允许输入30个字)