Tair(Taobao Pair)是淘宝开发的分布式Key-Value存储引擎,用于服务器端自动负载均衡 分为持久化和非持久化两种方式存储:
非持久化:分布式缓存使用 Memcached(mdb)、Redis(rdb)
持久化:SQL-DB使用FireBird(fdb),NoSQL-DB:使用Kyoto Cabinet(kdb)、LevelDB(ldb)
Tair采用可插拔存储引擎设计,以上这些存储引擎可以很方便的替换,还可以引入新的存储引擎比如: MySQL。
使用场景:
1,分布式缓存,集成Redis,可以用于大多数使用场景,大访问少量临时数据的存储(kb左右) 用于缓存,降低对后端数据库的访问压力,session场景 高速访问某些数据结构的应用和计算(rdb)
2,数据源存储,快速读取数据(fdb), 持续大数据量的存入读取(ldb),交易快照 ,高频度的更新读取(ldb),库存
Tair整体架构
Config Server
- Config Server是单点,采用一主一备的方式保证可靠性。 管理所有的data server, 维护data server的状态信息 用户配置的桶数量、副本数、机房信息 数据分布的对照表 协调数据迁移、管理进度,将数据迁移到负载较小的节点上。
- Client和ConfigServer的交互主要是为了获取数据分布的对照表,当client获取到对照表后,会cache这 张表,然后通过查这张表决定数据存储的节点,所以不需要和configserver交互,这使得Tair对外的服务不依赖configserver,所以它不是传统意义上的中心节点。
- Config server维护的对照表有版本概念,由于集群变动或管理触发,构建新的对照表后,对照表的版本 号递增,并通过Data server的心跳,将新表同步给数据节点。客户端和Data server交互时,Dataserver每次都把自己缓存的对照表版本号放入response结构中,返 回给客户端,客户端将Data server的对照表版本号和自己缓存的对照表版本号比较,如果不相同,会 主动和Config server通信,请求新的对照表。(所以根本上,数据的信息并不是主动去维护到Config Server中去的,而是通过Client端获取的数据版本号与Config Server中的数据信息版本号对比不同步才去更新数据信息到Config Server)
- Tair的Configserver使客户端使用时候,不需要配置数据节点列表,也不需要处理节点的的状态变化, 这使得Tair对最终用户来说使用和配置都很简单。
Data Server
Data server负责数据的物理存储,并根据Configserver构建的对照表完成数据的复制和迁移工作。 Data server具备抽象的存储引擎层,可以很方便地添加新存储引擎。Data server还有一个插件容器, 可以动态地加载/卸载插件。
Tair的存储引擎有一个抽象层,只要满足存储引擎需要的接口,便可以很方便地替换Tair底层的存储引擎。
Tair默认包含两个存储引擎:mdb和fdb:
- mdb是一个高效的缓存存储引擎,它有着和memcached类似的内存管理方式。mdb支持使用share memory(tmpfs),这使得我们在重启Tair数据节点的进程时不会导致数据的丢失,从而使升级对应 用来说更平滑,不会导致命中率的较大波动。
- fdb是一个简单高效的持久化存储引擎,使用树的方式根据数据key的hash值索引数据,加快查找速度。索引文件和数据文件分离,尽量保持索引文件在内存中,以便减小IO开销。使用空闲空间池管理被 删除的空间。
Tair高可用与负载均衡
Tair使用的意义并不是去取代Redis,是对Redis的集成,在高可用上,根据上面的架构,很多方面可以参照Redis的集群与高可用,例如对于单节点的ConfigServer进行主从设置,为了高可用可以添加SndNode。对于DataNode,可以对于每个DataNode都去做主从备份的概念。负载均衡则可以通过一致性hash均衡的分布在DataNode上。
对照表
在Tair系统中,采用对照表将数据均衡的分布在DataServer上,便于动态适应节点的扩容和缩容。Tair基于一致性Hash算法存储数据,根据配置建立固定数量的桶(bucket),桶为Hash环节点,hash(key) 顺时针设置桶,桶是负载均衡和数据迁移的基本单位,因为数据按照key做hash算法,所以可以认为每个桶中的数据基本是平衡的, 保证了桶分布的均衡性, 就保证了数据分布的均衡性。
Tair数据迁移
当DataServer增加时,config server负责重新计算一张新的桶在data server上的分布表 将桶较为平均的分配到各个DataServer上 当DataServer发生故障时, config server负责重新计算一张新的桶在data server上的分布表, 将原来由故障机器服务的桶的访问重新指派到其它的data server中 ,同时也就会去进行数据迁移
- 1、设置当前正在迁移的桶ID
- 2、DataServer写入桶数据时,会写入redolog
- 3、migrate_manager迁移内存中的桶数据
- 4、migrate_manager迁移redolog数据
- 5、redolog数据迁移完成后,将桶标记为迁移完成
- 6、将信息发送给ConfigServer用于同步对照表
Tair可插拔存储引擎
Tair默认包含四种存储引擎:mdb、fdb、kdb和ldb
- mdb 数据存储:Memcached 高效缓存存储 使用share memory ,重启不会数据丢失 支持K-V存储、prefix操作 适用于:String缓存使用 (json)、大访问少量的临时数据存储、Session分离
- fdb 数据存储:FireBird 高效的持久化SQL存储 索引文件和数据文件分离------>mysql MyISam 使用Tree的方式根据key的hash值索引数据 B tree 索引文件在内存中 适用于:快速访问较小的数据
- kdb 数据存储:Kyoto Cabinet Cabinet开发的KV的持久化存储,简单的包含记录的数据文件 存储形式为hash表或B+Tree 适用于:简单临时存储
- ldb 数据存储:LevelDB 是Google开发的高性能持久化KV存储 可内嵌mdb缓存 mdb+ldb 支持kv、prefix 支持批量操作 适用于:大数据量的存取(交易快照)、高频度的更新(库存)、离线大批量数据导入
- rdb 数据存储:Redis 高效缓存存储 多种数据结构和计算 适用于:复杂数据结构存储、商品属性、粉丝列表、商品评论、消息队列
mdb的存储结构(Memcached)
mem_pool
用于共享内存管理(系统内存),将内存分为若干个page page个数根据slab_mem_size设置,单位为MB,单个DataServer最多使用64G内存
mem_cache
用于管理slab(Linux 缓存分配器),存放slab_manager列表 slab_manager管理item(数据块) slab个数为100,一个slab可存储800kb
cache_hash_map
用于存储hash表,根据key进行hash对应item数据 hash冲突,产生链表
mdb_area_stat
用于维护area(namespace)状态,记录了该area的数据链表和数据量限制(tablespace)
常用API