关闭

hbase 写入过程

标签: hbaseWALwrite
223人阅读 评论(0) 收藏 举报
分类:

1.基本原理

hbase客户端通过rpc调用将put、delete数据请求提交到对应的regionserver,regionserver对请求进行处理,并将数据最终写入hfile中,进行持久化保存。
hbase为了保证随机读取的性能,所以hfile里面的rowkey是有序的。当客户端的请求在到达regionserver之后,为了保证写入rowkey的有序性,所以不能将数据立刻写入到hfile中,而是将每个变更操作保存在内存中,也就是metastore中。metastore能够很方便的支持操作的随机插入,并保证所有的操作在内存中是有序的。当metastore达到一定的量之后,会将metastore里面的数据flush到hfile中,这样能充分利用hadoop写入大文件的性能优势,提高写入性能。
由于metastore是存放在内存中,如果regionserver因为某种原因死了,会导致内存中数据丢失。所有为了保证数据不丢失,hbase将更新操作在写入metastore之前会写入到一个write ahead log(WAL)中。WAL文件是追加、顺序写入的,WAL每个regionserver只有一个,同一个regionserver上所有region写入同一个的WAL文件。这样当某个regionserver失败时,可以通过WAL文件,将所有的操作顺序重新加载到metastore中。

2.流程

整个写入顺序图流程如下:

这里写图片描述

  • 客户端查找对应region
    客户端根据要操作rowkey,查找rowkey对应的region。查找region的过程为通过zk获取到hbase:meta表所在region。通过查找hbase:meta可以找到要更新的表每个region的startkey、endkey以及所处机器。由于hbase的rowkey有序分布在region上,所以通过每个region的startkey、endkey可以确定当前要操作rowkey的region信息。
    由于通过zk、hbase:meta查找region信息比较耗时,所以客户端会缓存表的region信息。在请求region失效时,会重新加载表的region信息。
  • regionserver写入WAL文件
    在将操作写入metastore之前,会将操作先写入到WAL文件中。WAL文件的是顺序保存操作记录的,所有每次新操作直接追加到regionserver对应的WAL文件尾部即可。
  • regionserver写入metastore
    将操作写入到WAL之后,hbase会将操作写入到metastore中。在metastore是一个排序的跳跃表,能够保证rowkey按照hfile的顺序进行排序。执行快速查找。
  • regionserver最终flush入hfile
    regionserver将操作写入的hfile不是同步发生的,是需要在metastore的内存达到一定的量(两种情况: 1.metastore的内存达到设置刷新值得90%,2:regionserver上所有region的metastore的内存占用量达到总内存的设置占用量,如0.4)之后,才会将metastore里面所有的操作写入到hfile中。同时会记录已经写入的操作的顺序id,便于WAL的日志清理线程删除WAL中无用日志信息。

参考文章:
hbase写路径

目前这篇文章中没有详细的介绍WAL文件的roll、clean的过程以及metastore的数据格式,接下来文章会详细的这些。

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:4519次
    • 积分:122
    • 等级:
    • 排名:千里之外
    • 原创:8篇
    • 转载:0篇
    • 译文:0篇
    • 评论:0条
    文章分类