![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
2021软件工程应用与实践
文章平均质量分 93
努力努力再努力6
这个作者很懒,什么都没留下…
展开
-
2021SC@SDUSC hbase代码分析(十四)BulkLoad功能
2021SC@SDUSC hbase源码分析(十四)BulkLoad功能2021SC@SDUSC 2021SC@SDUSC2021SC@SDUSC 2021SC@SDUSC目录2021SC@SDUSC hbase源码分析(十四)BulkLoad功能BulkLoad功能BulkLoad核心流程HFile生成阶段。HFile导入阶段。核心流程到此结束BulkLoad功能在实际生产环境中,有这样一种场景:用户数据位于HDFS中,业务需要定期将这部分海量数据导入HBase系统,以执行随机查询更新操作。这种原创 2021-12-25 10:40:20 · 1120 阅读 · 0 评论 -
2021SC@SDUSC hbase代码分析(十三)HFile分析(5)
2021SC@SDUSC hbase源码分析(十三)HFile分析(五)2021SC@SDUSC 2021SC@SDUSC2021SC@SDUSC 2021SC@SDUSC目录2021SC@SDUSC hbase源码分析(十三)HFile分析(五)索引相关BlockHFile索引简介索引结构1. Root Index Block简介源码分析2. NonRoot Index Block简介相关分析索引相关BlockHFile索引简介根据索引层级的不同,HFile中索引结构分为两种:single-l原创 2021-12-13 13:11:17 · 1856 阅读 · 0 评论 -
2021SC@SDUSC hbase代码分析(十二)HFile分析(4)
2021SC@SDUSC hbase源码分析(十二)HFile分析(四)2021SC@SDUSC 2021SC@SDUSC2021SC@SDUSC 2021SC@SDUSC目录2021SC@SDUSC hbase源码分析(十二)HFile分析(四)布隆过滤器相关Block布隆过滤器简介Bloom Index Block结构相关源码分析元数据相关指向Bloom Block 的索引项总结布隆过滤器相关Block布隆过滤器简介布隆过滤器对HBase的数据读取性能优化至关重要。前面几个博客,介绍过HBa原创 2021-12-12 12:53:01 · 1997 阅读 · 0 评论 -
2021SC@SDUSC hbase代码分析(十一)HFile分析(3)
2021SC@SDUSC hbase源码分析(十一)HFile分析(3)2021SC@SDUSC 2021SC@SDUSC2021SC@SDUSC 2021SC@SDUSC目录2021SC@SDUSC hbase源码分析(十一)HFile分析(3)核心BlockType1.Trailer Block简介代码分析2.Data Block简介代码分析未完待续核心BlockTypeHbase中定义了8中BlockType,每种BlockType对应的Block都存储不同的内容,有的存储用户数据,有的存储原创 2021-12-06 16:13:08 · 1568 阅读 · 0 评论 -
2021SC@SDUSC hbase代码分析(十)HFile分析(2)
2021SC@SDUSC hbase源码分析(十)HFile分析(2)2021SC@SDUSC 2021SC@SDUSC2021SC@SDUSC 2021SC@SDUSC目录2021SC@SDUSC hbase源码分析(十)HFile分析(2)HFileBlockHFileBlock结构HFileBlock源码HFileBlock.WriterstartWriting方法写入KeyValue过程writeHeaderAndData方法finishBlock方法循环以上几步,即可完成HFile Bloc原创 2021-11-30 13:15:59 · 185 阅读 · 0 评论 -
2021SC@SDUSC hbase代码分析(九)HFile分析(1)
2021SC@SDUSC hbase源码分析(九)HFile分析(1)2021SC@SDUSC 2021SC@SDUSC2021SC@SDUSC 2021SC@SDUSC目录2021SC@SDUSC hbase源码分析(九)HFile分析(1)HFile构成HFile物理数据HFile类中相关代码介绍HFile存储路径判断格式获得HFile路径集合HFile设置blocksize写的API创建Writer客户端读获取reader:HFile类的相关代码分析完毕未完待续HFile构成文件主要分为四个原创 2021-11-24 21:10:52 · 962 阅读 · 0 评论 -
2021SC@SDUSC hbase源码分析(八)Coprocessor分析(2)
2021SC@SDUSC hbase源码分析(八)Coprocessor分析(2)目录2021SC@SDUSC hbase源码分析(八)Coprocessor分析(2)Endpoint介绍Endpoint与Observer区别Endpoint工作流程Endpoint部分代码getMaxgetMingetSumgetAvgEndpoint使用Coprocessor加载1.静态加载2.动态加载2021SC@SDUSC 2021SC@SDUSC2021SC@SDUSC 2021SC@SDUSCEndpoi原创 2021-11-15 18:02:23 · 1681 阅读 · 0 评论 -
2021SC@SDUSC hbase代码分析(七)Coprocessor分析(1)
2021SC@SDUSC hbase代码分析(七)Coprocessor分析(1)2021SC@SDUSC 2021SC@SDUSC2021SC@SDUSC 2021SC@SDUSC目录2021SC@SDUSC hbase代码分析(七)Coprocessor分析(1)Coprocessor机制优点Coprocessor分类Observer Coprocessor相关源码分析Observer Coprocessor工作流程:工作流程源码分析RegionObserverRegionServerObserv原创 2021-11-10 21:17:25 · 1719 阅读 · 0 评论 -
2021SC@SDUSC hbase代码分析(六)写入流程(4)
2021SC@SDUSC hbase源码分析(七) 写入流程2021SC@SDUSC 2021SC@SDUSC2021SC@SDUSC 2021SC@SDUSC接上次博客(2)随机写入MemStoreKeyValue写入Rgion分为两步:首先追加到HLog,再写入MemStore。MemStore使用数据结构ConcurrentSkipListMap来实际存储KeyValue.优点是能够非常友好地支持大规模并发写入,同时跳跃表本身是有序存储的,这有利于数据有序落盘,并且有利于提升MemStore原创 2021-11-03 14:09:49 · 712 阅读 · 0 评论 -
2021SC@SDUSC hbase源码分析(五)HLog分析
2021SC@SDUSC hbase源码分析(五) HLog分析目录2021SC@SDUSC hbase源码分析(五) HLog分析HLogHLog结构![在这里插入图片描述](https://img-blog.csdnimg.cn/77761f619b03462babb6b2981c62499f.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5Yqq5Yqb5Yqq5Yqb5Ya原创 2021-10-26 14:54:31 · 304 阅读 · 0 评论 -
2021SC@SDUSC hbase源码分析(四)写入流程(3)
目录Hbase写特性:Hbase写入流程概况:相关源码分析:2.Region写入阶段(1)追加到HLogHLog持久化等级:HLog写入模型(2)随机写入MemStore2021SC@SDUSC2021SC@SDUSC2021SC@SDUSCHbase写特性:Hbase是一个比较少见的写比读快的数据库,原因是在写的过程中,既要写Hlog文件也要将数据写到内存;读的时候需要将所有数据数据文件合起来(包括MemoryStore)最后读出来。因此Hbase进行读操作所需的时间较多。HBase服务端没有原创 2021-10-18 13:37:17 · 341 阅读 · 0 评论 -
2021SC@SDUSC hbase源码分析(三)写入流程(2)
2021SC@SDUSC 2021SC@SDUSC 2021SC@SDUSC 2021SC@SDUSC接上次多次Put请求及RS寻址、构造RPC1.多次put请求2.RS寻址3.RPC请求Put方法的客户端处理阶段小结多次Put请求及RS寻址、构造RPC1.多次put请求@Overridepublic void put(final List<Put> puts) throws IOException { for (Put put : puts) { validatePut(原创 2021-10-11 13:41:22 · 166 阅读 · 0 评论 -
2021SC@SDUSC hbase源码分析(二)写入数据(1)
2021SC@SDUSC hbase源码分析(二)写入数据(1)2021SC@SDUSC 2021SC@SDUSC 2021SC@SDUSC 2021SC@SDUSC目录2021SC@SDUSC hbase源码分析(二)写入数据(1)Hbase写入总览大体写入流程写入时组件交互客户端处理阶段1.用户提交put请求单次put请求多次put请求如有不足或错误,欢迎指正Hbase写入总览Hbase采用LSM树架构,这种架构更适合于写多读少的场景。 需要说明的是,Hbase服务端并没有提供update、d原创 2021-10-08 20:04:41 · 261 阅读 · 0 评论 -
2021SC@SDUSC hbase源码分析(一) 项目综述
2021SC@SDUSC hbase源码分析(一) 项目综述及分工2021SC@SDUSC 山东大学软件学院软件工程应用与实践hbase相关知识简介:1.Hbase概述:当需要进行实时读写或者随机访问大规模的数据集的时候,我们应该优先考虑使用Hbase!HBase是[Hadoop](Apache Hadoop)的生态系统,是建立在Hadoop文件系统(HDFS)之上的分布式、面向列的数据库,通过利用Hadoop的文件系统提供容错能力。HBase作为Google Bigtable的开源实现,Goo原创 2021-09-28 20:54:52 · 182 阅读 · 0 评论