![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hbase
luoyunfan6
LuoYunfan
展开
-
Hbase的读写操作流程
写操作流程 client通过zookeeper的调度,向相应的RegionServer发出写请求,在相应的region中写数据。 数据先写入hlog,然后写入memstore,知道memstore到达一定的阈值。 memstore到达阈值后,会创建一个新的memstore,并将老的添加到flush队列,由单独的线程flush到磁盘上,成为一个storeFile。与此同时,zookeeper会...原创 2019-12-28 15:11:52 · 279 阅读 · 0 评论 -
Hbase的架构
- Client : hbase客户端, 1.包含访问hbase的接口。比如,linux shell,java api。 2.除此之外,它会维护缓存来加速访问hbase的速度。比如region的位置信息。- Zookeeper : 1.监控Hmaster的状态,保证有且仅有一个活跃的Hmaster。达到高可用。 2.它可以存储所有region的寻址入口。如:r...原创 2019-12-28 14:30:04 · 236 阅读 · 0 评论 -
phoenix入门
1、为什么使用Phoenix phoenix,由saleforce.com开源的一个项目,后又捐给了Apache。它相当于一个Java中间件,帮助开发者,像使 用jdbc访问关系型数据库一些,访问NoSql数据库HBase。 phoenix,操作的表及数据,存储在hbase上。phoenix只是需要和Hbase进行表关联起来。然后再用工具进行一些读或写操作。 其实,可以把Phoenix只看成一种代...原创 2019-10-25 19:14:06 · 1460 阅读 · 0 评论 -
hive与hbase整合后,跑不了mr问题
之前安装了phoenix,然后测试链接hbase发现可以用。 现在想用hive和hbase整合。(整合过程里面有https://blog.csdn.net/luoyunfan6/article/details/102740266) ,发现hive跑不了mr了,但是正常的select查询可以,报错如下: FAILED: Execution Error, return code -101 from o...原创 2019-10-25 16:03:06 · 338 阅读 · 0 评论 -
Hbase(总)
1 HBase文档 1.1 Hbase来源 1. hbase是一个开源的、分布式的、多版本的、可扩展的、非关系型的数据库。 2. hbase是big table的开源的java版本,建立在hdfs基础之上,提供高可靠性、高性能的、列式存储、可伸缩、近实时读写的nosql的数据库系统 3. 数据量越来越大,传统的关系型数据库不能满足存储和查询的需求。而hive虽然能够满足存储的要求,但是hive的本...原创 2019-10-25 11:49:37 · 535 阅读 · 0 评论