![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 54
meiye
这个作者很懒,什么都没留下…
展开
-
HBase存储结构
一、 Hbase存储框架图1 Hbase存储架构图1、 结构HBase中的每张表都通过行键按照一定的范围被分割成多个子表(HRegion),默认一个HRegion超过256M就要被分割成两个,由HRegionServer管理,管理哪些HRegion由HMaster分配。HRegionServer存取一个子表时,会创建一个HRegion对象,然后对表的每个列...原创 2020-03-26 21:10:53 · 2458 阅读 · 0 评论 -
HBase 客户端读取实现
HBase 以客户端角色来调用服务器端的RPC实现 HBase 以客户端角色来调用服务器端的RPC实现 1. HBase的客户端RPC实际上是在Hadoop客户端RPC做的修改,具体的类为: HBase org.apache.hadoop.hbase.ipc.HBaseRPC Hadoop org.apache.hadoop.ipc.RPC 2. 大致流程转载 2013-11-25 17:04:15 · 1103 阅读 · 0 评论 -
hadoop读写文件
读文件 读文件时内部工作机制参看下图: 客户端通过调用FileSystem对象(对应于HDFS文件系统,调用DistributedFileSystem对象)的open()方法来打开文件(也即图中的第一步),DistributedFileSystem通过RPC(Remote Procedure Call)调用询问NameNode来得到此文件最开始几个block的文件位置转载 2013-11-25 18:27:15 · 664 阅读 · 0 评论 -
HBase HBaseServer实现
1. HBaseServer创建后有几个重要的角色. 1.1 Listener deamon线程,负责接收HMaster,HRegionServer,HBase Client的http请求. 1.2 Responder demon线程,负责将处理完的请求,发送回调用者. 1.3 Connection listener接收到的每个Socket请求都会创建一个Connectio转载 2013-11-25 17:24:10 · 541 阅读 · 0 评论 -
ZooKeeper实现分布式队列Queue
ZooKeeper是一个分步式的协作系统,何为协作,ZooKeeper价值又有何体现。通过这篇文章的分布式队列的案例,你将了解到ZooKeeper的强大。关于ZooKeeper的基本使用,请参考:ZooKeeper伪分步式集群安装及使用目录分布式队列设计思路程序实现1. 分布式队列队列有很多种产品,大都是消息系统所实现的,像ActiveMQ,JBossMQ,转载 2013-11-12 17:59:01 · 784 阅读 · 0 评论 -
HBase深入分析之RegionServer
所有的用户数据以及元数据的请求,在经过Region的定位,最终会落在RegionServer上,并由RegionServer实现数据的读写操作。本小节将重点介绍RegionServer的代码结构和功能,从实现细节上深入理解RegionServer对于数据的操作流程。1 RegionServer概述RegionServer是HBase集群运行在每个工作节点上的服务。它是整个HBase转载 2013-11-12 18:15:55 · 1344 阅读 · 0 评论 -
HBase监控
对于稳定维护hbase,全面掌握分布式系统中的每一台主机状况,以及检测系统可能或正在出现的瓶颈,强大的监控是必须的。 比如: region数、block住的内存大小、请求数、命中率、flush/split/compact次数和时间、读写响应时间分布、storefile数目、jvm状况、 本文介绍将hbase监控加入ganglia中 hbase本身集成了jmx进行转载 2013-11-13 12:22:29 · 1232 阅读 · 0 评论 -
提升HBase写性能
调整参数入门级的调优可以从调整参数开始。投入小,回报快。1. Write Buffer Size快速配置Java代码 HTable htable = new HTable(config, tablename); htable.setWriteBufferSize(6 * 1024 * 1024); htable.setAutoFlush(false);转载 2013-11-12 17:57:56 · 550 阅读 · 0 评论