HBase
yj2434
贪财好色,一身正气
展开
-
Hbase 常见面试题
1. Hbase是什么?hbase的特点是什么?Hbase一个分布式的基于列式存储的数据库,基于Hadoop的 hdfs 存储,zookeeper 进行管理。Hbase适合存储半结构化或非结构化数据,对于数据结构字段不够确定或者杂乱无章很难按一个概念去抽取的数据。Hbase 为 null 的记录不会被存储。基于的表包含 rowkey,时间戳,和列族。新写入数据时,时间戳更新, 同时可以查询到以前的版本。hbase 是主从架构。hmaster 作为主节点,hregionserver 作为从节点。.原创 2020-12-20 23:01:05 · 452 阅读 · 0 评论 -
java.net.SocketTimeoutException: callTimeout=60000, callDuration=68720: row
MetaException(message:org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, exceptions:Wed Sep 09 23:45:02 CST 2020, null, java.net.SocketTimeoutException: callTimeout=60000, callDuration=68720: row 'xyz,,' on table 'hbase:me原创 2020-09-10 00:02:46 · 5298 阅读 · 1 评论 -
org.apache.hadoop.hbase.NotServingRegionException:
HBase集群region offline故障解决使用hbase hbck命令检查是否存在数据不一致的情况导致region没能online。hbase hbck从输出信息看到状态确实为不一致(INCONSISTENT),尝试使用hbase hbck -fix原创 2020-09-08 22:42:30 · 1360 阅读 · 0 评论 -
hive和hbase的区别。精辟!
可以简单理解为:hive是文件的视图,hbase是建了索引的key-value表。先放结论:Hbase和Hive在大数据架构中处在不同位置,Hbase主要解决实时数据查询问题,Hive主要解决数据处理和计算问题,一般是可以配合使用,但两者不是同一层面的东西。一、区别:Hbase: Hadoop database 的简称,是一种NoSQL数据库,主要适用于海量明细数据(十亿、百亿)的随机实时查询,如日志明细、交易清单、轨迹行为等。Hive:Hive是Hadoop数据仓库,严格来说,不是数据库,主要是让开发原创 2020-09-06 02:38:00 · 676 阅读 · 0 评论 -
mapreduce卡住不动,良久抛出如下错误。hbase版本问题,再解决
org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException: Failed 4 actions: org.apache.hadoop.hbase.exceptions.UnknownProtocolException: Is this a pre-hbase-1.0.0 or asynchbase client? Client is invoking getClosestRowBefore removed in hbase-2.0.原创 2020-09-05 19:05:21 · 958 阅读 · 1 评论 -
Class org.apache.hadoop.hbase.mapreduce.TableOutputFormat not found
近日在做mapreduce数据在存储hbase中时,遇到错误:org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.hbase.mapreduce.TableOutputFormat not foundat org.apache.hadoop.mapreduce.v2.app.原创 2020-08-26 01:39:38 · 990 阅读 · 0 评论 -
hbase的写和读,大合并和小合并
Hbase写:客户端向hbase服务器端发送写的请求时,hbase会同时进行两个动作,把记录写在WAL(write ahead log)日志文件中,每台服务器所有表都共享这个WAL文件。然后会写到memStore内存中,memStore是内存中的写入缓存区,如果memStore写满就刷新写到硬盘,生成HFile文件。当服务器宕机时memStore内存中的内容就没了,这时可以通过回放WAL日志文件恢复,回放的动作由hbase内部机制调用,不需要用户调用。HFile存储在底层文件系统,hbase是Hadoo原创 2020-08-22 01:42:55 · 745 阅读 · 0 评论 -
Hbase HRegionServer 启动不了
查看日志没有任何有价值的信息。或可能是时间不同步的原因:查看我另一篇文章,同步时间即可Centos8设置时间同步原创 2020-08-21 23:52:31 · 344 阅读 · 0 评论 -
最新HBase与Hadoop版本匹配关系图包含hadoop2.10.0/3.2.x
原创 2020-08-20 04:10:49 · 820 阅读 · 0 评论