Hadoop
chaseasheep
这个作者很懒,什么都没留下…
展开
-
HBase启动后HMaster自动消失<hostname>:9000 failed on connection exception: java.net.ConnectException: 拒绝连接
在做大数据项目时搭建HBase集群,配置好文件后启动集群,HMaster进程两秒后自动消失。HRegionServer还在。本质上就是HMaster没启动起来。于是查看logs文件夹,发现报错:查询网上资料后发现就是两种思路一种是:防火墙没有关闭或者开启了没有开放9000端口导致的这种问题的朋友可以先检查一下防火墙另一种是9000端口已被占用。但是我并不是这两种问题。启动HBase要满足的是:hdfs,yarn,zookeeper(如果在hbase-env.sh中管理zookeeper那一项选择了fa原创 2022-06-18 15:27:09 · 3301 阅读 · 1 评论 -
启动Hbase时集群间拒绝链接原因
今天启动Hbase一直失败,阅读日志后发现失败原因在于各个集群中各个主机间拒绝链接。本文作为个人笔记记录可能导致集群中主机间拒绝连接的原因1.Hbase设置的Zookeeper端口号需要与Zookeeper的端口号一致。(我就是卡在这里了,因为一次非正常关机导致Zookeeper暂时不能使用2181端口号,因此我把Zookeeper的端口号改成了2183,结果Hbase这边还是2181)2.关掉防火墙(每个主机的),或者在防火墙中对端口号进行设定...原创 2022-02-10 00:31:44 · 2095 阅读 · 0 评论 -
使用Hbase的Java api操作时程序一直运行且不报错
问题近日学习了使用Java api对Hbase进行DDL、DML操作,但是在使用api对表进行增删改查以及创建命名空间时,程序一直运行并不报错,但是在使用api确认表是否存在时程序很快返回。网上查阅资料后得到:应该配置Zookeeper端口号等方案,但经尝试后并未解决问题。配置Zookeeper端口号:Configuration configuration = HBaseConfiguration.create();configuration.set(HConstants.ZOOKEEPER_CLI原创 2022-02-04 23:01:29 · 2261 阅读 · 0 评论 -
HDFS的高可用机制(HA)与Hadoop联邦机制(Federation)概述
背景分布式文件系统中( HDFS,Hadoop Distributed File System ),NameNode在内存中存储着整个文件系统的元数据信息,如文件数据块的地址映射、文件系统的命名空间、文件操作权限等。倘若NameNode节点主机一旦宕机,整个集群即将瘫痪,因此应采用高可用(HA)+联邦机制(Federation)的部署方案搭建集群。高可用的Hadoop集群在搭建Hadoop集群时,通常需要搭建多个NameNode,这样可以保证如果其中一个NameNode发生宕机,另一个NameNod原创 2022-01-04 17:59:22 · 2658 阅读 · 0 评论 -
启动Hadoop集群时DataNode节点启动失败原因总结
背景启动hadoop集群时,在NameNode与SecondaryNode成功启动的同时,DataNode启动失败,本文章将持续更新,总结DataNode节点启动可能的失败原因。操作环境:CentOS8,hadoop-2.7.5总结1.问题:报错 No route to host问题存在可能原因:DataNode所在主机未联网解决方案:作者这里在node02,node03主机使用了ifconfig命令,发现两主机ens33没有启动(没有显示ip地址)。使用命令 sudo dhclient e原创 2021-12-30 00:16:00 · 3084 阅读 · 1 评论