前言
FastDFS是用c语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
简单版FastDFS搭建, 单机集成Tracker server, Storage server, Nginx服务器, 并利用FastDHT文件去重
环境准备
系统:Centos7
fastdfs:到https://github.com/happyfish100下载,都下载最新的:fastdfs-master、libfastcommon-master、fastdfs-nginx-module-master,避免版本问题
Linux ip:192.168.233.200
FastDFS安装
上传相关包到/opt下,如图
linux环境准备
安装zip、unzip
yum install -y unzip zip
安装perl
yum install -y perl
安装gcc
yum install -y gcc-c++
一键安装命令
yum install -y zip unzip perl gcc-c++
安装libfastcommon
FastDFS主程序依赖组件
解压到/usr/local目录下重命名为libfastcommon
unzip -o libfastcommon-master.zip -d /usr/local
进行编译
./make.sh
进行安装
./make.sh install
安装FastDFS主程序
解压到/usr/local目录下重命名为fastdfs
unzip -o fastdfs-master.zip -d /usr/local
进入fastdfs
进行编译
./make.sh
进行安装
./make.sh install
拷贝配置文件
将fastdfs安装目录下的conf下的文件拷贝到/etc/fdfs/下
cp -r conf/*.conf /etc/fdfs/
cp mime.types /etc/fdfs/
fdfs可执行命令
ll /usr/bin/fdfs*
配置并启动trackerd
修改trackerd.conf
vim /etc/fdfs/tracker.conf
将base_path=/home/yuqing/fastdfs改成base_path=/opt/fastdfs
创建trackerd数据、日志目录
mkdir -p /opt/fastdfs
启动trackerd
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
查看trackerd进程,如下图:
说明trackered已经启动起来;其实也可以查看日志:/opt/fastdfs/logs/trackerd.log,来判断trackerd是否正常启动起来。
配置并启动storaged
修改storage.conf
vim /etc/fdfs/storage.conf
base_path=/home/yuqing/fastdfs改为:base_path=/opt/fastdfs
store_path0=/home/yuqing/fastdfs改为:store_path0=/opt/fastdfs/storage
tracker_server=192.168.209.121:22122改为:tracker_server=192.168.233.200:22122,这个ip改成自己的
创建storaged数据、日志目录
mkdir -p /opt/fastdfs/storage
启动storaged
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart
查看storaged进程,如下图:
说明storaged已经启动起来;其实也可以查看日志:/data/fastdfs/logs/storaged.log来判断storaged是否正常启动起来。
书写测试代码
代码结构如图
fdfs_client.conf
connect_timeout = 2
network_timeout = 30
charset = UTF-8
http.tracker_http_port = 8080
http.anti_steal_token = no
http.secret_key = FastDFS1234567890
tracker_server = 192.168.233.200:22122
FastdfsClientTest.java
import org.csource.common.NameValuePair;
import org.junit.Test;
import java.io.FileNotFoundException;
import java.io.IOException;
/**
* @project: fastdfs-client-java
* @author: wjc
* @date: 2019/11/24 16:35
* @description: TODO
*/
public class FastdfsClientTest {
//客户端配置文件
public String conf_filename = "fdfs_client.conf";
//本地文件,要上传的文件
public String local_filename = "C:\\Users\\alive\\Pictures\\timg.jpg";
//上传文件
@Test
public void testUpload() {
for(int i=0;i<1;i++){
try {
ClientGlobal.init(conf_filename);
TrackerClient tracker = new TrackerClient();
TrackerServer trackerServer = tracker.getConnection();
StorageServer storageServer = null;
StorageClient storageClient = new StorageClient(trackerServer,
storageServer);
NameValuePair nvp [] = new NameValuePair[]{
new NameValuePair("item_id", "100010"),
new NameValuePair("width", "80"),
new NameValuePair("height", "90")
};
String fileIds[] = storageClient.upload_file(local_filename, null,
nvp);
System.out.println(fileIds.length);
System.out.println("组名:" + fileIds[0]);
System.out.println("路径: " + fileIds[1]);
} catch (FileNotFoundException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
} catch (Exception e) {
e.printStackTrace();
}
}
}
}
执行测试代码,当输出如下信息时,表示上传成功:
FastDFS 和nginx整合
fastdfs-nginx-module安装
解压到/usr/local目录下并重命名为fastdfs-nginx
unzip -o fastdfs-nginx-module-master.zip -d /usr/local
拷贝配置文件
cp /usr/local/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
vi /etc/fdfs/mod_fastdfs.conf
base_path=/tmp改成:base_path=/data/fastdfs
tracker_server=tracker:22122改成:tracker_server=192.168.233.200:22122
url_have_group_name = false改成:url_have_group_name = true;#url中包含group名称
store_path0=/home/yuqing/fastdfs改成:store_path0=/opt/fastdfs/storage
nginx安装
nginx依赖包安装
yum -y install zlib zlib-devel openssl openssl--devel pcre pcre-devel
解压到/usr/local/目录重命名为nginx
tar -zxvf nginx-1.16.1.tar.gz -C /usr/local/
进入nginx目录
cd /usr/local/nginx
./configure --prefix=/usr/local/nginx --conf-path=/usr/local/nginx/nginx.conf --add-module=/usr/local/fastdfs-nginx-module/src/
make
make install
/usr/local/nginx/sbin/nginx -V
看到以下信息安装完成
修改nginx配置文件
events {
use epoll; #epoll是多路复用IO(I/O Multiplexing)中的一种方式,但是仅用于linux2.6以上内核,可以大大提高nginx的性能
worker_connections 1024;
}
http {
server {
listen 80;
server_name 192.168.233.200;
location /group1/M00/{
#root /home/FastDFS/fdfs_storage/data;
ngx_fastdfs_module;
}
}
}
启动nginx
cd /usr/local/nginx/sbin/
# 注意新版nginx默认配置文件在nginx目录下而不是nginx/conf下
./nginx -c /usr/local/nginx/conf/nginx-fdfs.conf # 指定配置文件启动
访问图片
启动nginx 访问如下
http://192.168.233.200/group1/M00/00/00/wKjpyF3a-3SAMC5rAACo7UEHUNg653.jpg
总结
FastDFS安装过程主要出现一下几个问题
- 端口未开通, storaged 服务需要外网并且开通端口需要开通的端口包括22122, 23000, 80等
- nginx编译报路径重复错误configure 时未添加 --conf-path=/usr/local/nginx/nginx.conf
- nginx启动成功但无法访问, 缺少mime.types文件, 拷贝fastdfs配置文件时只复制的*.conf文件未拷贝mime.types
看时简单但安装过程却是问题不断, 有些坑踩过才知道