【FastDFS】FastDFS+FastDHT完成文件上传去重

一、前言

      最近公司让我搞FastDFS分布式文件系统。整个集群环境已经搭建成功啦。但是有一个问题一直困扰着我，那就是重复文件的上传。即使是同一个文件，多次上传，返回的id也是不一样的。这样就造成了磁盘资源的极大浪费。但是呢FastDFS本身是不支持重复文件去重的。好在FastDFS的作者余庆提供了一种解决思路。那就是FastDHT。

      FastDHT是分布式哈希系统（DHT），使用BerkeleyDB做数据存储，使用libevent做网络IO处理。依赖于libfastcommon。

二、安装

1、基本环境：

       CentOS7、libfastcommon、Berkeley、FastDHT

2、安装前需要的环境gcc

yum install make cmake gcc gcc-c++

3、正式安装

进入下载目录：cd/usr/local/src

下载libfastcommon、Berkeley DB、FastDHT

资源下载链接

①安装libfastcommon   (安装FastDFS应该已经装了。无需重复安装)

解压、进入解压缩目录

unzip libfastcommon-master.zip
cd libfastcommon-master

编译、安装

./make.sh && ./make.sh install