写操作流程:
- 客户端通过zookeeper的调度,向Hregion Server发送写数据的请求,在HRegion中写数据。
- 数据写入Hregion的Menstore,直到Menstore达到预定的阈值。
- Menstore中数据会被冲成成一个StoreFile
- 随着storeFile的数量的增多,当达到一定的阈值会触发紧凑合并操作,将多个StoreFile合成一个StoreFile,同时把版本更新和数据删除
- storeFile通过不断的紧凑合并,慢慢越来越多的StoreFile
- 单个StoreFile大小超过一定的阈值,触发拆分操作,把当前Hregion Spilled成两个新的HRegion,老的Hregion就会下线,新生成的2个HRegion会被Hmaster分配到其他的HregionServer上,使得1个Hregion的压力分到2个Hregion上。
读操作流程:
- 客户端访问动物园管理员,查看ROOT表,获取META表的信息
- 从META表中查找,获取存放目标数据的HRegion信息,从而找到HRegionServer的信息
- 通过HRegionServer找到相应的数据信息
- HRegionServer的内存分为两部分:
- 那种MEMSTORE
- bolckcache,那种MEMSTORE主要用于写操作,blockcache主要用于读操作,请求先到的memstore读取数据,再到blockcache中读取,再没有就会到StoreFile中读取,并把读取的数据放入到blockcache中。