FastDB 磁盘和无盘模式

32 篇文章 3 订阅

在网上看到了一下主存数据库的性能测试,相对于BerkeleyDB和SQLite来比,fastdb的性能还是略胜一筹,时间精力有限,本人没有对SQLite,BerkeleyDB进行系统的分析研究。这里仅是简单剖析fastdb高效性的实现。

在其他报告中有提到,在fastdb磁盘模式下,当批量提交事务时fastdb的性能比SQLite的性能高出3-10倍,可当逐条提交事务时fastdb的性能却急剧下降,以至于无法使用。这是由于磁盘模式下,fastdb频繁的同步数据到磁盘,IO的操作由于要访问物理磁盘,性能就会瞬间下降几个数量级。

为此,fastdb的作者提供了二个方案,一个是定时备份,第二个是fastdb的无盘模式。

(1) 磁盘模式

磁盘模式的好处在于当服务器当机时,已同步到文件的数据部不会丢失,而坏处在于频繁的IO操作导致性能降低。那么磁盘模式是如何实现的?

在file.cpp文件中可以看到:

先在主目录下打开文件*.fdb

            fd = ::open(name, open_flags, 0666);
            if (fd < 0) {
                int orig_errno = errno;
                dbTrace("failed opening file '%s' - fd - %d, errno - %d\n",
                        name, fd, orig_errno);
                return orig_errno;
            }

然后,使用mmap()映射

        mmapAddr = (char*)mmap(NULL, mmapSize,
                               (flags & read_only) ? PROT_READ : PROT_READ|PROT_WRITE,
                               mmap_attr, fd, 0);
        if (mmapAddr == (char*)-1) {
            status = errno;
            mmapAddr = NULL;
            if (fd >= 0) {
                ::close(fd);
            }
            return status;
        }

mmap的有名映射的机制之一就是可以同步数据到文件


(2) 无盘模式

fastdb默认的模式是磁盘模式,通过修改config.h,然后再重新编译就可以实现

    //DISKLESS_CONFIGURATION - only in-memory temporary database
    // 把"//"去掉
    #define DISKLESS_CONFIGURATION 1 // 这样就是无盘模式


无盘模式就是完全是内存操作,在这里使用的是system v中的共享内存,在sync.cpp中代码如下:

        int fd = ::open(fileName, O_RDWR|O_CREAT, ACCESS_PERMISSION_MASK); // 在/tmp下创建*.fdb文件
        if (fd < 0) {
            if (fileName != name) {
                delete[] fileName;
            }
            return false;
        }
        ::close(fd);
     
        int key = getKeyFromFile(fileName);// 根据文件名创建key
        if (fileName != name) {
            delete[] fileName;
        }
        if (key < 0) {
            return false;
        }
        shm = shmget(key, DOALIGN(size, 4096), IPC_CREAT|ACCESS_PERMISSION_MASK);// 创建共享内存
        if (shm < 0) {
            return false;
        }
        ptr = (char*)shmat(shm, NULL, 0);//挂载到本进程
---------------------  

原文:https://blog.csdn.net/huanzai2/article/details/24404247  
 

概述FastDB是一个高效率的内存数据库系统,具有实时性能和方便的C++接口。 FastDB并不支持客户端/服务器结构,所有使用FastDB数据库的应用程序都必须运行在同一台主机上。FastDB为具有主导读取访问模式的应用程序作了优化。通过消除数据传输的开销和使用高性能的锁工具实现了查询执行的高速度。数据库文件和使用该数据库的每一个应用程序占用的虚拟内存空间相映射。所以查询在应用程序的任务中执行,不需要进行任务切换和数据传输。在FastDB中,通过原子指令来实现对数据库并发访问的同步,对查询处理几乎不增加任何开销。FastDB假设整个数据库都在当前内存中,并且在这个假设的基础上优化查询算法和结构。另外,数据库缓存管理几乎不会给FastDB增加任何开销,同时FastDB也不需要在数据库文件和缓冲池中进行数据传送。这就是为什么FastDB比将所有数据放在缓冲池中的传统数据库明显速度快的原因。   FastDB支持事务、在线备份和系统崩溃之后的自动恢复。事务提交协议基于一个影子根页算法,对数据库执行原子更新操作。恢复操作执行起来非常快,给关键应用程序提供了高效率。另外,它还取消了事务日志,提高了系统的整体性能,并且能够更加有效地使用系统资源。   FastDB是面向应用程序的数据库,使用应用程序的类信息来构建数据库的表。FastDB支持自动系统赋值,只允许你在一个地方——你的应用程序的类中,改变它们的值。FastDB为从数据库中提取数据提供了一个灵活而方便的接口。使用类似于SQL的语言来书写查询语句。这些非原子字段、嵌套数组、用户自定义类型和方法、直接指向对象内部的指针等后关系性能,简化了数据库应用程序的设计,并且使得它们更加高效。   虽然FastDB的优化是基于整个数据库都存放在机器的物理内存的这个假设上的,我们依然可以将FastDB使用在那些大小超过系统物理内存的数据库上。最后,标准操作系统的交换机制将会起作用。但是所有的FastDB的算法和结构的优化都是基于数据存放在内存中这个假设上的,所以数据交换的效率不会很高。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值