HBase
多哥仁慈的骆驼
甘肃农业大学信息科学技术学院14计算机科学与技术
展开
-
TableMapReduceUtil工具类
今天在从文件中读取数据在写入到hbase的时候,使用到了TableMapReduceUtil工具类,使用过程只需要简单的设置之后工具类会帮我们生成写入到HBase的任务,工作类封装了许多MapReduce写入到HBase的操作,无需我们自己再去设置,下面大致看看内部的实现机制,对TableMapReduceUtil有个比较深入的了解 使用过程:在map端生成了ImmutableBytesWr原创 2017-12-17 15:49:50 · 1585 阅读 · 0 评论 -
Hbase架构解析
HBase架构组成HBase采用Master/Slave架构搭建集群,它隶属于Hadoop生态系统,由一下类型节点组成:HMaster节点、HRegionServer节点、ZooKeeper集群,而在底层,它将数据存储于HDFS中,因而涉及到HDFS的NameNode、DataNode等,总体结构如下: Client 包含访问HBase的接口,并维护cach原创 2017-12-19 15:38:52 · 309 阅读 · 0 评论 -
hbase启动后很快又会挂掉或者创建表时出现org.apache.hadoop.hbase.TableExistsException: hbase:namespace 异常
1、问题描述:hbase启动后很快又会挂掉或者创建表时出现org.apache.hadoop.hbase.TableExistsException: hbase:namespace 异常2、解决思路:hbase将数据存储在hdfs上,并通过zookeeper获取当前系统表.META.的存储所对应的regionserver信息 1)hbase shell 下list 发现没有该表,但是以原创 2018-01-29 13:51:24 · 550 阅读 · 0 评论 -
HBase的命令行操作
HBase的表结构:如上图所示,key1,key2,key3是三条记录的唯一的row key值,column-family1,column-family2,column-family3是三个列族,每个列族下又包括几列。比如column-family1这个列族下包括两列,名字是column1和column2,t1:abc,t2:gdxdf是由row key1和column-family1-...原创 2018-09-09 11:13:16 · 572 阅读 · 0 评论 -
HBase启动和停止命令
启动HBase集群: bin/start-hbase.sh 单独启动一个HMaster进程: bin/hbase-daemon.sh start master 单独停止一个HMaster进程: bin/hbase-daemon.sh stop master 单独启动一个HRegionServer进程: bin/hbase-daemo...原创 2018-09-09 11:30:51 · 404 阅读 · 0 评论 -
在hbase shell中使用list命令报错:ERROR: Can't get master address from ZooKeeper; znode data == null原因及解决方法
原因:运行hbase(zookeeper)的用户无法写入zookeeper文件,导致znode data为空。 解决方法: 方法一:重启hbase(可能是zookeeper或hbase不稳定造成的 重启不一定起作用) 方法二:在hbase-site.xml指定一个运行hbase的用户有写入文件权限的目录作为zookeeper数据目录,如...原创 2018-09-09 11:33:18 · 959 阅读 · 0 评论 -
Hbase配置解析
HBase 常见重要配置参数 (1) hbase.rpc.timeout rpc 的超时时间,默认 60s,不建议修改,避免影响正常的业务,在线上环境刚开始配置的是 3 秒,运行半天后发现了大量的 timeout error,原因是有一个 region 出现了如下问题阻塞了写操作:“Blocking updates … memstore size 434.3m is >= ...原创 2018-09-12 09:10:28 · 291 阅读 · 0 评论