TC hdb代码分析

最新推荐文章于 2024-10-16 07:16:00 发布

iteye_5869

最新推荐文章于 2024-10-16 07:16:00 发布

阅读量220

点赞数

分类专栏： tokyo cabinet 文章标签：数据结构 Cache

tokyo cabinet 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

在TC中一个最小的unit的大小是48字节其中record的头信息是40字节但是在TC中默认是16字节对齐的所以就是48字节在tchdbreadrec读取的时候也是读取最小的大小也就是48个字节刚好可以把头信息读取进来

在TC中可以通过设置hdb->zmode和hdb->opts参数来启用压缩功能压缩只是针对value的

tchdbnew

创建一个新的TC hdb数据库对象并且设置一些初始话的参数（其中设置参数是在tchdbclear中进行的）

hdb->type = TCDBTHASH;

hdb->bnum = HDBDEFBNUM; 设置bucket number为默认的大小131071

hdb->apow = HDBDEFAPOW; 默认align power大小是4 也就是16位对齐

hdb->fpow = HDBDEFFPOW; 默认free block pool power 是10也就是2^10就是1024个

hdb->xmsiz = HDBDEFXMSIZ; 默认大小是64m

hdb->recc = NULL;

hdb->rcnum = 0; 默认record cache是关闭的

tchdbopen

在打开的时候会对hdb数据库对象的一些参数做进一步的初始化

它首先会判断数据库文件的大小如果文件小于1那么说明是新创建的一个数据库这个时候会格式化数据库文件比如写些tc版本等信息到数据库文件写入hdb的头信息 free block pool和bucket array置零等等

然后读取数据库的信息并且设置hdb数据库结构 map hdb->xmsiz到hdb->map 由于hdb->xmsiz默认大小是64M这样可以保证map到内存的文件内容是包括所有的头信息的这样sync的时候只要把头部信息写道hdb->map中然后sync hdb->map就可以拉

tchdbsync

调用这个函数的时候会把tc内存的信息同步到数据库文件中去它首先判断是否有异步写的内容没有持久化到数据库文件中去如果有那么就flush到文件中去然后sync hdb数据库的头部信息到文件中去这个sync的过程是调用tchdbmemsync 其中phys参数是true也就是会做一次物理同步它先是把hdb的metadata dump到一块内存中去tchdbdumpmeta(hdb, hbuf); 然后把这块内存copy到hdb->map中去如果phys设置成true那么就会msync(hdb->map, xmsiz, MS_SYNC)其中xmsiz是hdb->map的大小在默认设置中是64M 然后在调用fsync(hdb->fd)做一次同步操作

tchdbput

调用这个函数的时候首先是把内存中的record flush到文件中去然后寻找key对应的值是否存在这个寻找是在文件里面搜索的但是在文件里面针对每个record是做了hash 然后对于冲突是用btree来解决的虽然文件寻找速度很慢但是通过这样的优化还是可以接受的如果存在那么就把原来的值给覆盖否这直接写到文件中去

tcputasync

现判断写缓存是否存在如果不存在创建一个HDBDRPUNIT + HDBDRPLAT大小的写缓存并且创建一个HDBDRPUNIT大小的hdb->drpdef存放deferred record

先是去文件中搜索key对应的条目是否存在如果存在把数据写到hdb->drpdef中在文件中分配空间给数据并且标记这个条目的存在把数据添加到hdb->fbpool中去

tchdbget

读取数据之前会把些缓存的中的数据（hdb->drpool和hdb->drpdef）刷新到文件中去然后再读

先会判断record cache 也就是hdb->recc是否为空如果不是空就去缓存里面读数据如果读到数据并且开头是*说明数据不存在返回空否这返回读到的数据如果数据不存在就回去文件里面查找数据

在文件里面查找数据就是作hash和btree搜索如果找到数据后那么就读取数据，需要解压缩就解压缩如果缓存开启那么就先把数据写到读缓存然后返回数据如果没有找到数据那么就更新读缓存（如果开启）用＊代表数据表示数据不存在并且返回空

tchdbdel

释放hdb占有的资源

tchdbout

删除操作删除key对应的一个条目和读一样做删除前判断是否有写缓存如果有那么就先把写缓存刷新到数据库文件中去

先还是去数据库文件中搜索key对应的条目如果没有找到设置error code 并且返回false