Apache Ignite原生持久化概述

最新推荐文章于 2021-01-31 06:34:41 发布

weixin_34194702

最新推荐文章于 2021-01-31 06:34:41 发布

阅读量822

点赞数

文章标签：数据库 java

原文链接：https://my.oschina.net/liyuj/blog/3008875

版权

为什么80%的码农都做不了架构师？>>>

很多人会问，Ignite有没有持久化存储，或者说是不是一个单纯的内存存储？

答案是都有，Ignite的原生持久化可以打开，也可以关闭。这使得Ignite可以存储比可用内存量大得多的数据集，也就是说，少量的操作型数据集可以只存储于内存中，而内存装不下的更大的数据集可以存储在磁盘上，这样将内存作为一个缓存层，性能会更好。

Ignite原生持久化

Ignite原生持久化是一个分布式的支持ACID和兼容SQL的磁盘存储，它可以与Ignite的固化内存架构透明地集成。Ignite的持久化是可选的，可以打开也可以关闭，如果关闭，Ignite就是一个纯内存的存储。

打开原生持久化之后，Ignite会始终在磁盘上存储数据的超集，然后根据内存的容量在其中存储尽可能多的数据。比如，一共有100条数据，然后内存容量只能存储20条，那么所有的100条都会存储于磁盘上，然后在内存中只缓存20条数据，这样性能会更好。

此外，还要注意，和内存存储的场景一样，如果打开了持久化，每一个节点只会持有所有数据的一个子集，只会包含该节点作为主/备节点所属分区的数据，而整个集群则包含完整的数据集。

不同于作为备份持久层的第三方数据库，Ignite的原生持久化有如下的关键特性：

SQL查询可以跨越内存和磁盘的完整数据集，这意味着Ignite可以作为以内存为中心的分布式SQL数据库；
不需要将所有的数据和索引放在内存中，Ignite持久化可以在磁盘上存储数据的超集，然后只将最常用的子集保存在内存中；
即时集群重启。如果整个集群下线，那么不需要从Ignite持久化中通过数据预加载对内存进行预热，只要所有节点组成集群，那么整个集群就会变为可用状态；
数据和索引以类似的格式存储于内存和磁盘上，这样有助于在内存和磁盘之间移动数据时昂贵的转换开销；
通过接入第三方的解决方案，可以创建完整的或者增量的集群快照功能。

用法

要启用原生持久化，需要给集群节点的配置传递一个DataStorageConfiguration对象：

启用持久化之后，数据和索引将存储于所有对应节点的内存和磁盘上，下图显示了每个节点中文件系统层面的Ignite持久化的结构。

内存区和缓存级的持久化

Ignite可以为具体的某个内存区开启持久化，从而也可以为某个缓存开启持久化，具体细节可以参见内存区配置相关章节的介绍。

文件系统中的原生持久化结构

节点中部署的每个缓存都有一个唯一的目录，从上图可以看到，节点至少维护了两个缓存（Cache_A和Cache_B）。

对于该节点（不管是主节点还是备节点）的每个分区，持久化都会在文件系统中创建专用的文件，比如在上图所示的节点中，负责了分区1,10和564，而索引是每个缓存一个文件。

缓存组和分区文件

如果Cache_A和Cache_B属于同一个缓存组，则会只有一个目录，两个缓存会共享分区文件，具体细节可以参见缓存组的相关文档。

最后，还有和预写日志有关的文件和目录，具体细节可以参见预写日志和检查点的相关文档。

集群激活

要注意，如果使用Ignite的原生持久化，集群默认会处于非激活状态，无法进行任何CRUD操作，用户需要手工对集群进行激活，关于如何激活集群的更多信息，可以参见基线拓扑的相关内容。

上面描述的文件层次结构，默认位于${IGNITE_HOME}/work/db共享目录下，要改变存储和WAL文件的默认位置，可以分别使用DataStorageConfiguration的setStoragePath(...)，setWalPath(...)和setWalArchivePath(...)方法。

如果在一台主机上启动了多个节点，那么每个节点进程会在一个比如${IGNITE_HOME}/work/db/node{IDX}-{UUID}这样的唯一子文件夹中有自己的持久化文件，这里的IDX和UUID由Ignite在节点启动时自动计算，这里有详细的计算方法。如果在持久化文件层次结构中已经有了若干node{IDX}-{UUID}子目录，那么会按照先进先出的顺序在节点间进行分配。如果要为一个节点分配固定的子文件夹，即使节点重启也不会发生变化，可以在集群范围使用IgniteConfiguration.setConsistentId()配置一个唯一值，这个唯一性ID在node{IDX}-{UUID}字符串中会映射到UUID。

单主机中隔离集群的节点

Ignite可以在一台主机中运行彼此隔离的多个节点，这种情况下，每个集群需要在不同的目录结构中存储自己的持久化文件，使用DataStorageConfiguration的setStoragePath(...)、setWalPath(...)和setWalArchivePath(...)方法可以对这些路径进行修改。