Tair

最新推荐文章于 2024-02-28 02:05:59 发布
最新推荐文章于 2024-02-28 02:05:59 发布
阅读量236 收藏
点赞数
分类专栏： 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/demi666/article/details/108268024
版权

Tair

Tair介绍

Tair(Taobao Pair)是淘宝开发的分布式Key-Value存储引擎
服务器端自动负载均衡
分为持久化和非持久化两种方式存储
非持久化：分布式缓存使用 Memcached（mdb）、Redis（rdb）
持久化：SQL-DB使用FireBird（fdb）
NoSQL-DB：使用Kyoto Cabinet（kdb）、LevelDB（ldb）
Tair采用可插拔存储引擎设计，以上这些存储引擎可以很方便的替换，还可以引入新的存储引擎比如：
MySQL

使用场景

分布式缓存
大多数使用场景
大访问少量临时数据的存储（kb左右）
用于缓存，降低对后端数据库的访问压力
session场景
高速访问某些数据结构的应用和计算（rdb）
数据源存储
快速读取数据（fdb）
持续大数据量的存入读取（ldb），交易快照
高频度的更新读取（ldb），库存

Tair整体架构分析

在这里插入图片描述

一个Tair集群主要包括client、Config server和Dataserver 三个不同的应用。
Client在初始化时，从Config server处获取数据的分布信息，根据分布信息和相应的Data server交互完
成用户的请求。
Config Server通过和Data Server的心跳（HeartBeat）维护集群中可用的节点，并根据可用的节点，
构建数据的在集群中的分布信息
Data server负责数据的存储，并按照Config server的指示完成数据的复制和迁移工作。

Config Server

Config Server是单点，采用一主一备的方式保证可靠性。
管理所有的data server, 维护data server的状态信息
用户配置的桶数量、副本数、机房信息
数据分布的对照表
协调数据迁移、管理进度，将数据迁移到负载较小的节点上
Client和ConfigServer的交互主要是为了获取数据分布的对照表，当client获取到对照表后，会cache这
张表，然后通过查这张表决定数据存储的节点，所以不需要和configserver交互，这使得Tair对外的服
务不依赖configserver，所以它不是传统意义上的中心节点
Config server维护的对照表有版本概念，由于集群变动或管理触发，构建新的对照表后，对照表的版本
号递增，并通过Data server的心跳，将新表同步给数据节点。
客户端和Data server交互时，Dataserver每次都把自己缓存的对照表版本号放入response结构中，返
回给客户端，客户端将Data server的对照表版本号和自己缓存的对照表版本号比较，如果不相同，会
主动和Config server通信，请求新的对照表。
Tair的Configserver使客户端使用时候，不需要配置数据节点列表，也不需要处理节点的的状态变化，
这使得Tair对最终用户来说使用和配置都很简单。

Data Server

Data server负责数据的物理存储，并根据Configserver构建的对照表完成数据的复制和迁移工作。
Data server具备抽象的存储引擎层，可以很方便地添加新存储引擎。Data server还有一个插件容器，
可以动态地加载/卸载插件。

在这里插入图片描述

Tair的存储引擎有一个抽象层，只要满足存储引擎需要的接口，便可以很方便地替换Tair底层的存储引
擎。比如你可以很方便地将bdb、tc甚至MySQL作为Tair的存储引擎，而同时使用Tair的分布方式、同步
等特性。
Tair默认包含两个存储引擎：mdb和fdb。
mdb是一个高效的缓存存储引擎，它有着和memcached类似的内存管理方式。mdb支持使用share
memory（tmpfs），这使得我们在重启Tair数据节点的进程时不会导致数据的丢失，从而使升级对应
用来说更平滑，不会导致命中率的较大波动。
fdb是一个简单高效的持久化存储引擎，使用树的方式根据数据key的hash值索引数据，加快查找速
度。索引文件和数据文件分离，尽量保持索引文件在内存中，以便减小IO开销。使用空闲空间池管理被
删除的空间。

Tair的安装与使用

环境准备

GIt

yum install git
yum update -y nss curl libcurl

svn

yum install subversion

Libtool

yum install libtool

boost-devel

yum install boost-devel

zlib

yum install zlib-devel

C++

yum install gcc-c++
项目源码下载和编译

tbsys库和tbnet库下载(tair底层依赖tbsys库和tbnet库)

#git源码下载
git clone https://github.com/kayaklee/tb-common-util.git
#设置环境变量
mkdir /var/tblib
export TBLIB_ROOT="/var/tblib"
#因为tbnet和tbsys在两个不同的目录，但它们的源码文件里头文件的互相引用却没有加绝对或相对路径，
将两个目录的源码加入到C++环境变量中即可。否则编译时会出现：“fatal error:tysys.h: No such
file or directory”的错误。
CPLUS_INCLUDE_PATH=/home/tair/tb-common-util/tbsys/src:/home/tair/tb-commonutil/
tbnet/src
export CPLUS_INCLUDE_PATH
#修改tbsys代码
cd ~/tb-common-util/trunk/tbsys/src
下载的代码有个错误：具体是tbsys/src/tblog.cpp中323行代码:需要将CLogger::CLogger&
CLogger::getLogger()改为CLogger& CLogger::getLogger()
#编译tbsys和tbnet
cd tb-common-utils
./build.sh
注：安装成功后，TBLIB_ROOT所指示的目录下会有include和lib两个目录。
tair下载
#git源码下载
git clone https://github.com/alibaba/tair.git
#安装依赖
yum install -y openssl-devel libcurl-devel
#编译
./bootstrap.sh
#检测和生成 Makefile
./configure
#编译和安装到目标目录
make -j
make install
注：默认安装位置是 ~/tair_bin
Tair配置和启动

下面以MDB引擎为例配置一个最小化的Tair集群（1 * ConfigServer + 1 * DataServer）

#查看和设置系统tmpfs
#MDB 引擎默认使用共享内存，所以需要查看并设置系统的tmpfs的大小
# 这里根据实际机器内存情况配置，必须大于Tair使用内存的配置
vim /etc/fstab
tmpfs /dev/shm tmpfs defaults,size=1024M 0 0
#生效
mount -o remount /dev/shm
#查看tmpfs
cat /etc/fstab | grep /dev/shm
显示tmpfs /dev/shm tmpfs rw,size=1G 0 0
# 定义配置文件 复制配置文件
cp etc/configserver.conf.default etc/configserver.conf
cp etc/group.conf.default etc/group.conf
etc/dataserver.conf.default etc/dataserver.conf
# configserver.conf
[public]
config_server=192.168.127.133:5198
#config_server=192.168.1.2:5198
#config_server=10.211.55.9:5198
#config_server=192.168.1.2:5198
dev_name=eno16777736
#group.conf
# data center A
_server_list=192.168.127.133:5191
#_server_list=192.168.1.2:5191
#_server_list=192.168.1.3:5191
#_server_list=192.168.1.4:5191
# data center B
#_server_list=192.168.2.1:5191
#_server_list=192.168.2.2:5191
#_server_list=192.168.2.3:5191
#_server_list=192.168.2.4:5191
#dataserver.conf
[public]
config_server=192.168.127.133:5198
#config_server=192.168.1.2:5198
dev_name=eno16777736
mdb_inst_shift=0
process_thread_num=4
io_thread_num=4
#这里 slab_mem_size控制MDB内存池的总大小，mdb_inst_shift 控制实例的个数，注意这里一个实例
必须大于512MB且小于64GB。
slab_mem_size=512
#修改 tair.sh启动脚本
#在CentOS 7下，安装目录下的 tair.sh 启动脚本有一行代码需要修改
tmpfs_size=`df -m |grep /dev/shm | awk '{print $2}'`
#启动Tair实例
#启动dataserver
tair_bin $ ./tair.sh start_ds
#启动configserver
tair_bin $ ./tair.sh start_cs
#查看进程
ps -ef |grep tair
注：执行后没有两行记录显示，说明启动失败，可查看logs中的log查看错误信息。
Tair测试
#客户端读写测试
tair_bin $ ./sbin/tairclient -c 192.168.127.133:5198 -g group_1
TAIR> health
TAIR> put key value
TAIR> get key
TAIR> remove key
TAIR> get key
Tair停止
#停止dataserver
tair_bin $ ./tair.sh stop_ds
#停止configserver
tair_bin $ ./tair.sh stop_cs

Tair高可用和负载均衡

Tair的高可用和负载均衡，主要通过对照表和数据迁移两大功能进行支撑。
对照表将数据分为若干个桶，并根据机器数量、机器位置进行负载均衡和副本放置，确保数据分布均
匀，并且在多机房有数据副本。
在集群发生变化时，会重新计算对照表，并进行数据迁移。

对照表

在Tair系统中，采用对照表将数据均衡的分布在DataServer上
还能动态适应节点的扩容和缩容
Tair基于一致性Hash算法存储数据，根据配置建立固定数量的桶（bucket）
桶为Hash环节点，hash(key) 顺时针 设置桶
桶是负载均衡和数据迁移的基本单位
config server 根据一定的策略把每个桶指派到不同的data server上，
因为数据按照key做hash算法，所以可以认为每个桶中的数据基本是平衡的，
保证了桶分布的均衡性, 就保证了数据分布的均衡性。
比如：

    bucket 		data server
    0       192.168.127.132 192.168.127.134
    1       192.168.127.133 192.168.127.135
    2       192.168.127.132 192.168.127.134
    3       192.168.127.133 192.168.127.135
    4       192.168.127.132 192.168.127.134
    5       192.168.127.133 192.168.127.135

Tair支持自定义的备份数，比如你可以设置数据备份为2，以提高数据的可靠性。对照表可以很方便地支
持这个特性。
第二列为主节点的信息，第三列为辅节点信息。在Tair中，客户端的读写请求都是和主节点交互。
当有节点不可用时，如果是辅节点，那么configserver会重新为其指定一个辅节点，如果是持久化存
储，还将复制数据到新的辅节点上。如果是主节点，那么configserver首先将辅节点提升为主节点，对
外提供服务，并指定一个新的辅节点，确保数据的备份数。

对照表的初始化

第一次启动ConfigServer会根据在线的DataServer生成对照表
ConfigServer会启动一个线程（table_builder_thread）,该线程会每秒检查一次是否需要重新构造对照
表
Tair 提供了两种生成对照表的策略：

负载均衡优先

config server会尽量的把桶均匀的分布到各个data server上
一个桶的备份数据不能在同一台主机上

位置安全优先

一般我们通过控制 _pos_mask（Tair的一个配置项） 来使得不同的机房具有不同的位置信息
一个桶的备份数据不能都位于相同的一个位置（不在同一个机房）

数据迁移

当DataServer增加时，config server负责重新计算一张新的桶在data server上的分布表
将桶较为平均的分配到各个DataServer上
当DataServer发生故障时， config server负责重新计算一张新的桶在data server上的分布表,
将原来由故障机器服务的桶的访问重新指派到其它的data server中
这时需要做数据迁移，具体流程如下：

1、设置当前正在迁移的桶ID
2、DataServer写入桶数据时，会写入redolog
3、migrate_manager迁移内存中的桶数据
4、migrate_manager迁移redolog数据
5、redolog数据迁移完成后，将桶标记为迁移完成
6、将信息发送给ConfigServer用于同步对照表

在这里插入图片描述

Tair存储引擎

Tair的存储引擎有一个抽象层（storage_manager）,只要实现存储引擎接口，便可以替换Tair的底层存
储引擎。
可插拔存储引擎—类似MySQL
Tair默认包含四种存储引擎：mdb、fdb、kdb和ldb

mdb

数据存储：Memcached
高效缓存存储
使用share memory ，重启不会数据丢失
支持K-V存储、prefix操作
适用于：String缓存使用 （json）、大访问少量的临时数据存储、Session分离

fdb

数据存储：FireBird
高效的持久化SQL存储
索引文件和数据文件分离------>mysql MyISam
使用Tree的方式根据key的hash值索引数据 B tree
索引文件在内存中
适用于：快速访问较小的数据

kdb

数据存储：Kyoto Cabinet
Cabinet开发的KV的持久化存储

简单的包含记录的数据文件
存储形式为hash表或B+Tree
适用于：简单临时存储

ldb

数据存储：LevelDB
是Google开发的高性能持久化KV存储
可内嵌mdb缓存 mdb+ldb
支持kv、prefix
支持批量操作
适用于：大数据量的存取（交易快照）、高频度的更新（库存）、离线大批量数据导入

rdb

数据存储：Redis
高效缓存存储
多种数据结构和计算
适用于：复杂数据结构存储、商品属性、粉丝列表、商品评论、消息队列

数据存储持久化数据格式应用场景
mdbMemcached否K-V存储、prefix操作缓存使用、Session分离
fdbFireBird是SQL、BTree快速访问较小的数据
kdbKyoto Cabinet是Hash、B+Tree简单临时存储
ldbLevelDB是kv、prefix、batch大数据量高频度的存储
rdbRedis否List、Set、Hash…复杂数据结构缓存

阿里使用：mdb、rdb、ldb

mdb的存储结构（Memcached）

在这里插入图片描述
、

mem_pool
用于共享内存管理，将内存分为若干个page
page个数根据slab_mem_size设置，单位为MB
单个DataServer最多使用64G内存
mem_cache
用于管理slab，存放slab_manager列表
slab_manager管理item(数据块)
slab个数为100，一个slab可存储800kb
cache_hash_map
用于存储hash表，根据key进行hash对应item数据
hash冲突，产生链表
mdb_area_stat
用于维护area（namespace）状态，记录了该area的数据链表和数据量限制(tablespace)

Tair相应API

key/value常见操作API
命令操作说明
getget key [area]获得key的值
putput key data [area]
[expired]		设置key和value
incrincr key [count]
[initValue] [area]		对key的值自增
decrdecr key [count]
[area]		对key的值自减
batcheGetmget key1 … keyn
area		批量获得
expireexpire key time设置key的过期时间
prefixPutpput [area] pkey
skey value		根据前缀设置，按照prefix计算hash，同一个prefix会存
储在同一个hash表，形成链表
prefixGetpget [area] pkey
skey		根据前缀读取
version

Tair中的每个数据都包含版本号，版本号在每次更新后都会递增。这个特性有助于防止由于数据的并发
更新导致的问题，类似于乐观锁
比如，系统有一个value为“a”，A和B同时get到这个value。
A执行操作改为"b"
B执行操作改为"c"
如果不控制，无论A和B谁先更新成功，它的更新都会被后到的更新覆盖。
使用version解决
第一次put version为1
get version为1
A修改成功后 version增加1
B修改时本身version为1，小于服务器版本2
所以B修改不成功
在put时，version传0 可强制修改

struct mdb_item{
    uint64_t item_id;
    .....
    uint16_t version
}

Tair实现乐观锁
trylock（获取版本）–> transaction –> unlock(版本检查) — 正常—> version+1 commit
— 异常—> rollback
只要能获取版本，就认为trylock成功
版本检查则更新version，一般是加1；否则，异常处理，version不变，并开启回滚
多事务同时获得乐观锁时，unlock只能有一个成功，其余的都应该失败
version 初始化要大于1
Tair实现分布式锁
利用 Tair 的 version 特性可以实现分布式锁，由于 LDB 具有持久化功能，当服务有出现宕机的情况，
也不会因此出现锁丢失或者锁不可释放的情况。
如果KEY不存在的话，传入一个固定的初始化VERSION（需要大于1），Tair会在保存这个缓存的同时设
置这个缓存的VERSION为你传入的 VERSION+1
KEY如果已经存在，Tair会校验你传入的VERSION是否等于现在这个缓存的VERSION，如果相等则允许
修改，否则将失败。

    //获得锁
    public boolean lock(String lockKey) {
        //10 :version expiretime : 过期时间 秒
        ResultCode code = defaultTairManager.put(lockKey, defaultVlaue, 5,
        expiretime);
        if (ResultCode.SUCCESS.equals(code))
        return true;
        else
        return false;
    }
    //释放锁
    public Boolean unlock(String lockKey){
        ResultCode code = defaultTairManager.delete(lockKey);
        return ResultCode.SUCCESS.equals(code);
    }
Java Client

pom.xml

<!-- https://mvnrepository.com/artifact/com.taobao.tair/tair-client -->
    <dependency>
        <groupId>com.taobao.tair</groupId>
        <artifactId>tair-client</artifactId>
        <version>2.3.5</version>
    </dependency>

demo

    DefaultTairManager defaultTairManager = new DefaultTairManager();
    List<String> cs = new ArrayList<String>();
    cs.add("192.168.127.132:5198");
    defaultTairManager.setConfigServerList(cs);
    defaultTairManager.setGroupName("group_1");
    defaultTairManager.init();
    defaultTairManager.put(0,"name:001","zhangfei");
    Result<DataEntry> value= defaultTairManager.get(0,"name:001");
    System.out.println(value);
    //设置版本0 强制更新 过期时间2秒
    defaultTairManager.put(0,"name:002","zhaoy",0,2);
    Result<DataEntry> value2= defaultTairManager.get(0,"name:002");
    System.out.println(value2);

Tair
机房、负载均衡、数据迁移、不停止服务
更好的可用性和负载均衡
Redis
多数据结构处理、计算
Tair+Redis

Demi_666
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Tair 搭建
cd19930508的博客
11-22 980
Tair 是阿里巴巴开源的，可提供快速访问的内存（MDB引擎）/持久化（LDB引擎）存储服务，基于高性能、高可用的分布式集群架构，满足读写性能要求高及容量可弹性伸缩的业务需求。 近期需要研究一下该中间件，搭建了一下单机环境，整体流程如下。 搭建所需服务器环境： Centos6 环境的Linux服务器 tbsys & tbnet git & svn yum tair master ...
Tair介绍、使用场景、安装使用以及高可用负载均衡
weixin_44795847的博客
03-28 4999
Tair介绍、使用场景、安装使用以及高可用负载均衡
Kyoto Cabinet库的编译说明
勤能补拙
11-29 3120
简介 　     Kyoto Cabinet是一个数据库管理的库，是TokyoCabinet的改进版本。数据库是一个简单的包含记录的数据文件，每个记录是一个键值对（Key/Value），Key和Value都是变长的字节序列。Key和 Value既可以是二进制的，也可以是文本字符串。数据库中的Key必须唯一。数据库既没有表的概念，也不存在数据类型。所有的记录被组织为Hash表或 B+树。 特点
[缓存 - tair] tair的基本知识点和架构设计
最新发布
小田的专栏
02-28 1545
通过代理解决：对于正常的数据迁移来说，假设桶2，3，4的数据从DataServer A同步到DataServer B，其中2的数据已经迁移完成，3的数据正在迁移，4的数据还没迁移。当因为某台dataserver宕机导致的数据迁移时，客户端会收到ConfigServer发送过来的中间临时状态的路由表，表中会把宕机的DataServer所负责的bucket临时指派给具有其备份副本的DataServer来处理，此时，服务保持可用，但负载可能不均衡，当迁移完成后，才能重新达到一个新的负载均衡的状态。
Tair基本认识和实现总结
热门推荐
张彦峰的博客
05-12 164万+
Tair基本认识和实现总结:简单认识tair并对其实现进行总结
tair和redis对比
平常心的博客
03-16 3284
转自：https://blog.csdn.net/farphone/article/details/53522383 1.Tair总述 1.1系统架构 一个Tair集群主要包括3个必选模块：configserver、dataserver和client，一个可选模块：invalidserver。通常情况下，一个集群中包含2台configserver及多台dataServer。两台c...
tair.zip, tair源码
03-29
《深入解析tair源码》 tair，全称为Tencent Advanced In-Memory Storage，是腾讯公司开发的一款高性能、高可用、低延迟的分布式内存存储系统。它主要用于处理大规模数据的快速读写需求，尤其在实时计算、推荐系统、...
tair 服务端源码包
11-26
《淘宝Tair服务端源码解析》 Tair，全称为Taobao Advanced In-Memory Storage，是淘宝自主研发的一款高性能、高可用的分布式Key/Value存储系统。它在淘宝内部广泛应用于缓存、配置中心、日志存储等多个场景，极大地...
tair使用测试
02-22
**淘宝TAIR使用测试** 淘宝TAIR（Tencent Advanced Internet Repository）是一款由淘宝公司开发的分布式键值存储系统，主要用于处理大规模数据存储和快速访问的需求。TAIR的设计目标是提供高可用性、高性能以及可...
com.taobao.tair
04-22
com.taobao.tair
tair-2.3.tar.tar
07-02
淘宝tair源代码包，tair 是淘宝自己开发的一个分布式 key/value 存储引擎。
tair开发指南
07-24
tair缓存开发指南，阿里巴巴开源的缓存系统
Introduction to Tair
03-19
Introduction to Tair 博文链接：https://lynnwong.iteye.com/blog/735424
tair与redis比较
08-21
Tair与Redis比较 在分布式缓存系统中，Tair和Redis是两个常见的选择。下面，我们将对Tair和Redis进行比较，探讨它们的架构、功能、使用场景和性能特点。 Tair架构 Tair是一个分布式的缓存系统，主要包括四个模块...
Tair（2）：Tair安装部署
u013938578的博客
12-08 830
由于MDB 引擎默认使用共享内存，所以需要查看并设置系统的tmpfs的大小，tmpfs是Linux/Unix系统上的一种基于内存的虚拟文件系统。/dev/shm 目录位于 linux 系统的内存中，而不在磁盘里，所以它的效率非常高，这里我们将大小设置1G，由于Tair依赖tbsys和tbnet库，需要安装这两个库，而这两库需要编译tb-common-utils安装。在CentOS 7下，安装目录下的 tair.sh 启动脚本有一行代码（55行）需要修改。切换到Tair安装目录，拷贝默认配置文件准备修改。
tair 安装部署
sun
09-08 3505
一 如何安装tair: 确保安装了automake autoconfig 和 libtool,使用automake --version查看，一般情况下已安装获得底层库 tbsys 和 tbnet的源代码:(svn checkout http://code.taobao.org/svn/tb-common-utils/trunk/ tb-common-utils).获得tair源代码:(s
tair与redis比较总结
oPerform的专栏
12-08 3万+
1. Tair总述 1.1 系统架构     一个Tair集群主要包括3个必选模块：configserver、dataserver和client，一个可选模块：invalidserver。通常情况下，一个集群中包含2台configserver及多台dataServer。两台configserver互为主备并通过维护和dataserver之间的心跳获知集群中存活可用的dataserver，构建数
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值