linux 2.6 hash表作用,高性能分布式哈希表FastDHT介绍及安装配置

FastDHT介绍

FastDHT 是一个高性能的分布式哈希系统 (DHT) ，使用 Berkeley DB 做数据存储，使用 libevent 做网络IO处理，提供 Java 版的客户端接口包。适合用来存储用户在线、会话等小数据量信息。

FastDHT存储Key Value Pair支持两种存储方式:缓存方式的MPOOL和持久存储方式的BDB。Key包括三部分：Namespace, ObjectID和Key。 Key可设置过期时间，自动清除过期数据.Server端划分group，同group数据互相备份，并且可自动压缩binlog.服务端可使用单线程，多线程模式。

FastDHT一些特性:

虚拟farm，便于扩容;

分布式算法client端实现，不需要中心服务器;

二进制通信协议，支持Proxy;

使用libevent，异步IO方式，支持大并发;

支持长连接。

FastDHT集群由一个或多个组(group)组成，每个组由一台或多台服务器组成，同组服务器上存储的数据是相同的，数据同步只在同组的服务器之间进行。组内各个服务器是对等的，对数据进行存取时，可以根据key的hash值来决定使用哪台服务器。数据同步采用推(Push)的方式，由源服务器主动将数据同步到本组的其他服务器。FastDHT集群由一个或多个组(group)组成，每个组由一台或多台服务器组成，同组服务器上存储的数据是相同的，数据同步只在同组的服务器之间进行。组内各个服务器是对等的，对数据进行存取时，可以根据key的hash值来决定使用哪台服务器。数据同步采用推(Push)的方式，由源服务器主动将数据同步到本组的其他服务器。

FastDHT由客户端决定应该选择哪台服务器，为例避免查表，应该根据key的hash code来选择服务器，算法描述如下：

1. 计算出key的hash值(hash_code)

2. group_index = hash_code % group_count

3. new_hash_code = hash_code高16位和低16位互换

4. server_index = new_hash_code % 组内server_count

计算server_index和group_index时使用了不同的hash code，是因为如果group_count和组内server_count相等，例如都等于2，那么对于一个组来说，任何key值都将选中其中一台固定的服务器(server_index == group_index)。

FastDHT基本结构图如下所示:

FastDHT 安装步骤完善

需要的依赖库文件： libevent-1.4.so.2 , libdb-4.7.so

依赖库文件存在于以下依赖包：libevent-1.4.14-stable  Berkley DB-4.7.25

一. 安装步骤：

(请按照顺序进行安装)

1. install  libevent-1.4.14-stable.tar.gztar xzf libevent-1.4.14-stable.tar.gz

cd libevent-1.4.14-stable

./configure --prefix=/usr

make && make install

2. install Berkley DB-4.7.25tar xzf db-4.7.25.tar.gz

cd db-4.7.25/build_unix

../dist/configure --prefix=/usr

make && make install

3. install FastDHT V1.18tar xzf FastDHT_v1.18.tar.gz

cd FastDHT

./make.clean

./make.sh

./make.sh install

(确保存在 fdhtd.conf  fdht_servers.conf  fdht_client.conf 在服务器上)

创建目录: mkdir /etc/fdhtd (目录权限 : 755  所属者: root)

cp fdhtd.conf /etc/fdhtd/              (文件权限 : 644  所属者: root)

cp fdht_servers.conf /etc/fdhtd/    (文件权限 : 644  所属者: root)

cp fdht_client.conf /etc/fdhtd/       (文件权限 : 644  所属者: root)

vi /etc/fdhtd/fdhtd.confport=11411

bash_path=

cache_size = 32MB

#include /etc/fdhtd/fdht_servers.conf  -> (本行前有#表示打开，如果想关闭此选项，则应该为##开头)

vi /etc/fdhtd/fdht_server.confgroup_count = 2   (数字可自定义)

group0 = :

group0 = :

group1 = :

group1 = :

依次类推

vi /etc/fdhtd/fdht_client.conf

keep_alive=1  --> (本选项关联 storaged.conf文件)

bash_path=

# include /etc/fdhtd/fdht_servers.conf

配置storaged.conf文件

vi  storaged.conf (默认位置： /etc/fdfs/storaged.conf)

本配置项解释： 是否检测上传文件已经存在。如果已经存在，则不存在文件内容，建立一个索引链接以节省磁盘空间

line 193:  key_namespace=FastDFS

本配置项解释： 当上个参数设定为1时 ， 在FastDHT中的命名空间

line 197:  keep_alive=1

本配置项解释： 长连接配置选项，如果为0则为短连接 1为长连接

line 204:  # include /etc/fdhtd/fdht_servers.conf

本配置项解释： 可以通过 #include filename 方式来加载 FastDHT servers  的配置

三. 判断排错

1.  fdht文件应该存在于 /etc/fdhtd/文件夹下

2.  /etc/fdfs/storaged.conf && /etc/fdfs/fdhtd.conf 2个配置文件中应开启如下配置项

# include /etc/fdhtd/fdht_servers.conf

3.  cache_size 应 > 32M及以上

4.  ulimit -c unlimited 即可

四. 启动FastDHT

/usr/local/bin/fdhtd /etc/fdhtd/fdhtd.conf

若出现段错误，则按照如下步骤排查，若没有出现任何报错则直接使用命令 netstat -an | grep 11411来查看端口是否启动

段错误排错步骤：

1. ldd /usr/local/bin/fdhtd 查看是否所有动态链接库全链接完毕

ldd的结果应包含如下2条：

(X86_64)

libevent-1.4.so.2 => /lib64/libevent-1.4.so.2 (0x00000000.....)

libdb-4.7.so => /lib64/tls/libdb-4.7.so (0x00000000....)

libevent-1.4.so.2 => /lib/libevent-1.4.so.2 (0x00000000.....)

libdb-4.7.so => /lib/tls/libdb-4.7.so (0x00000000....)

2. 若ldd的结果为 libdb-4.2.so => /lib64/tls/libdb-4.2.so (0x00000000....)

则应该进行如下替换操作：

find / -name libdb-4.7.so

cp {$path}/libdb-4.7.so  /lib64/tls/libdb-4.2.so

3. 若结果没有错误，则检查对应安装软件版本

libevent-1.4.8以上版本

Berkeley-db-4.7.25以上版本

FastDHT V1.0以上版本

您可能感兴趣的文章: