内存数据库

内存数据库

内存数据库

内存数据库，顾名思义就是将数据放在内存中直接操作的数据库。相对于 磁盘 ，内存的数据读写速度要高出几个数量级，将数据保存在内存中相比从磁盘上访问能够极大地提高应用的性能。同时，内存数据库抛弃了磁盘数据管理的传统方式，基于全部数据都在内存中重新设计了 体系结构 ，并且在 数据缓存 、快速算法、并行操作方面也进行了相应的改进，所以 数据处理 速度比 传统数据库 的数据处理速度要快很多，一般都在10倍以上。内存数据库的最大特点是其“主拷贝”或“工作版本”常驻内存，即活动 事务 只与实时内存数据库的内存拷贝打交道。

定义:设有 数据库系统 DBS，DB为DBS中的数据库，DBM(t)为在时刻t，DB在内存的数据集，DBM(t)属于DB。TS为DBS中所有可能的 事务 构成的集合。AT(t)为在时刻t处于活动状态的 事务 集，AT(t)属于TS。Dt(T)为 事务 T在时刻t所操作的数据集，

Dt(T)属于DB。若在任意时刻t，均有:

任意T属于AT(t) Dt(T)属于DBM(t)

成立，则称DBS为一个内存 数据库系统 ，简称为MMDBS;DB为一个内存数据库，简称为MMDB。

 

数据的加载

电信的 二次批价 和实时累账是 计费系统 中的两个必备功能。所谓 二次批价 是相对于一次批价来说的。一次批价是按照国家标准资费来进行价格计算，比如: 全球通每分钟本地通话为0.4元，在一次批价完成后，会根据这个用户的套餐进行再一次的计算。以 北京 全球通用户接听4分钟的电话为例，一次批价完成后，这条话单的价格是1.6元，如果这个用户参加了10元包月接听套餐，那么在 二次批价 后，这次通话的费用就为0元。一次批价是用于各大运营商之间结算的，而 二次批价 是针对用户个人的。

 

实时累账是将用户从每月1号到目前为止的所有费用累加起来，也就是用户目前可以通过10086查到截止到前一天的 实时话费 。累账值可以帮助用户控制高额话费或是供用户即时查询消费信息。

二次批价和实时累账过程涉及用户资料、用户套餐等与用户相关的信息，电信 支撑系统 在开始批价时必须加载这些数据。稍大一点的省级运营商的这些数据就会超过1000万条，计费处理模型也由于套餐的组合、产品的组合以及不同的优惠规则变得相当复杂，加载这部分数据对系统而言是一笔不小的开销，这就使得现在的计费处理速度比较慢，而且很难做到对数据的实时更新。内存数据库的引入在一定程度上解决了这个问题。

在计费 二次批价 过程中数据量最大的是详单数据，这部分数据不用放在内存数据库中，每处理完一个话单文件或达到设定的提交记录数时直接操作磁盘数据库，不会影响系统性能。最急切的是将用户资料、套餐、营业套餐和计费套餐对应关系数据、计费套餐模型数据及用户累计数据放到内存数据库中，这部分数据查询操作远比数据新增和更新操作要频繁。除了这些数据外，当然还有应用需要的其他数据也都可以加载到内存数据库。

在采用内存数据库后，用户通过营业部或客户查询 实时话费 的时候完全可以做到实时，比目前只能提供查询到前一天的实时话费在业务上有了质的飞跃。因为系统在处理这部分数据时查询流程和以前的完全一样，但系统省去了以往内存中的数据和磁盘数据库 数据同步 的环节，所以就能做到了实时查询。对于信控来说也同样，以往系统在累完账后要按照一定周期刷新信控数据，这就存在一个 时间差 ，不能够完全做到实时。

而采用内存数据库后，信控可以直接取得内存数据库中的 实时话费 累计表中的数据，完全实现实时预警、停机。 二次批价 和累账中采用内存数据库后，对防欺诈、收入保障系统也有相当大的好处，这样能够充分保证运营商的切身利益。

另外，在采用内存数据库后，整体提高了系统批价、累账的处理速度，大大缓解访问磁盘数据库的压力，提高数据查询、修改、删除的效率，也为后付费和预付费的融合提供了可能。

数据的同步

电信营业数据和 计费系统 中的数据总是在不断的变化中，这就涉及内存数据库中的数据和磁盘数据库数据的同步问题（为了描述清楚，这里的磁盘数据库以Oracle DB为例来说明）。 数据同步 包括两部分: 从内存数据库到Oracle DB数据同步和从Oracle DB到内存数据库的同步。

Oracle DB到内存数据库同步

这部分 数据同步 采用增量表的方式，营业系统或CRM新增或更新的数据将生成到Oracle的增量表中，计费 后台 程序先到这些增量表中查询数据。如果能在这些增量表中查到数据就把这些 数据更新 到内存数据库对应表中，如果查不到，就直接从内存数据库中直接查询，从而保证了数据的完整性和实时性。由于增量表的数据量一般会很小，所以这部分操作不会影响系统的性能。

内存数据库到Oracle DB同步

由于Oracle的计费 后台 批价、累账数据几乎都加载到了内存数据库中，所以 Oracle数据库 对应的数据表将主要用于对内存数据库的 数据备份 。

用户最新的 实时话费 等信息都保存在内存数据库中，实时话费查询将直接连接到内存数据库中查询，保证用户得到最新的费用信息。信控也直接从内存数据库查询数据，因此对Oracle中的这部分数据已经没有实时性的要求。这时内存数据库到Oracle的同步可以由 应用程序 生成文件，定时地往Oracle数据库中同步备份，或者采用Oracle 存储过程 在系统相对空闲时间段进行数据导入就可以了。

内存数据库与传统数据库的异同

传统的 数据库系统 是 关系型数据库 ，开发这种数据库的目的，是处理永久、稳定的数据。关系数据库强调维护数据的完整性、一致性，但很难顾及有关数据及其处理的定时限制，不能满足工业生产管理实时应用的需要，因为实时 事务 要求系统能较准确地预报事务的运行时间。

对磁盘数据库而言，由于磁盘存取、内外存的数据传递、 缓冲区 管理、排队等待及锁的延迟等使得 事务 实际平均执行时间与估算的最坏情况执行时间相差很大，如果将整个数据库或其主要的“工作”部分放入内存，使每个事务在执行过程中没有I/O，则为系统较准确估算和安排事务的运行时间，使之具有较好的动态可预报性提供了有力的支持，同时也为实现事务的定时限制打下了基础。这就是内存数据库出现的主要原因。

内存数据库所处理的数据通常是“短暂”的，即有一定的有效时间，过时则有新的数据产生，而当前的决策推导变成无效。所以，实际应用中采用内存数据库来处理实时性强的业务逻辑处理数据。而 传统数据库 旨在处理永久、稳定的数据，其性能目标是高的系统吞吐量和低的代价，处理数据的实时性就要考虑的相对少一些。实际应用中利用 传统数据库 这一特性存放相对实时性要求不高的数据。

在实际应用中这两种数据库常常结合使用，而不是以内存数据库替代 传统数据库 。

技术特点

　　（1）采用复杂的数据模型表示数据结构，数据冗余小，易扩充，实现了数据共享。
　　（2）具有较高的数据和程序独立性，数据库的独立性有物理独立性和逻辑独立性。
　　（3）内存数据库为用户提供了方便的用户接口。
　　（4）内存数据库提供4个方面的数据控制功能，分别是并发控制、恢复、完整性和安全性。数据库中各个应用程序所使用的数据由数据库统一规定，按照一定的数据模型组织和建立，由系统统一管理和集中控制。
　　（5）增加了系统的灵活性。^[1]

 

内存数据库是指一种将全部内容存放在 内存 中，而非传统 数据库 那样存放在 外部存储器 中的 数据库 。内存数据库指的是所有的数据访问控制都在内存中进行，这是与 磁盘数据库 相对而言的，磁盘数据库虽然也有一定的 缓存 机制，但都不能避免从外设到内存的交换，而这种交换过程对性能的损耗是致命的。由于内存的读写速度极快（双通道DDR3-1333可以达到9300 MB /s，一般磁盘约150 MB /s），随机访问时间更是可以 纳秒 计（一般磁盘约10 ms ，双通道DDR3-1333可以达到0.05 ms ），所以这种数据库的读写性能很高，主要用在对性能要求极高的环境中，但是在 服务器 关闭后会立刻丢失全部储存的数据。常见的例子有 MySQL 的MEMORY存储引擎、 FastDB 、 SQLite 、 Microsoft SQL Server Compact 等。