HBase读取数据卡住长时间不返回的原因分析

  这些天做HBase,但是遇到Hbase连接上之后读取数据的时候,一直卡在那儿,程序既不报错也不结束,让我好生纠结,困扰我一整天。现在问题终于解决,现在写了一段Demo代码,具体如下:

public static void main(String[] args) throws IOException {
    System.setProperty("hadoop.home.dir", "f:/hadoop/hadoop-common-2.2.0-bin-master");
    conf = new Configuration();
    conf.set("hbase.zookeeper.quorum", "192.168.179.216,192.168.179.215");
    conf.set("hbase.zookeeper.property.clientPort", "2181");
    conf.set("zookeeper.znode.parent", "/hbase");

    try {
        // establish the connection to the cluster.
        Connection connection = ConnectionFactory.createConnection(conf);
        // retrieve a handle to the target table.
        table = connection.getTable("MyTable");

        Scan scan = new Scan();
        System.out.println("Scan object instantiated");
        ResultScanner scanner = table.getScanner(scan);
        System.out.println("ResultScanner object instantiated");
        for(Result res: scanner){
            System.out.println(Bytes.toString(res.getRow()));
            System.out.println("Next iteration");
        }
    } catch (IOException e) {
        e.printStackTrace();
    } finally {
       // close everything down
       if (table != null) table.close();
       if (connection != null) connection.close();
   }
}

  在我的实际项目中,当程序执行到table = connection.getTable("MyTable")时,程序就一直卡在那儿,也不报任何错误。我束手无策,但是任务很多也很着急我不得不想尽一切办法来解决,于是我陷入了深深地思考,这个过程是及其痛苦的….
  我写了测试类,找出log,忍着一句一句往下看,终于看到程序一直在不断的进行连接,一直不停的重试,突然让我明白或许是我的hosts配置有问题,导致程序解析主机名出现错误,一直重新连接尝试。简单来说就是hosts文件中配置的主机名和真实主机名不一致,并且还加入了额外的hosts配置信息干扰到了正确解析主机名。
  因此我运行demo程序的工作机没有配置任何额外的hosts,连接ZooKeeper时直接使用的IP地址,但是HBase Client 底层在进行操作时可能引入了主机名反向连接,作为完全干净的工作机当然找不到对应的服务器,就不断地在后台重试导致生成了上述的日志。当我把出现问题的两个hosts记录加入到工作机后,问题解决。折腾了一天终于就这么点问题,终于搞定。
  通过上述错误可知,Hadoop集群中hostname一定要与hosts文件中配置的名称一致,并且力求保证集群映射关系的纯净,不要把其他不相干的业务也部署在其中,引起不必要的麻烦。

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 4
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值