FastDFS分布式文件系统入门安装配置使用

最新推荐文章于 2023-05-29 09:48:51 发布

海波booy

最新推荐文章于 2023-05-29 09:48:51 发布

阅读量272

点赞数

分类专栏：分布式应用文章标签： fastdfs nginx 分布式

本文链接：https://blog.csdn.net/booy123/article/details/107425348

版权

分布式应用专栏收录该内容

14 篇文章 1 订阅

订阅专栏

一、动静分离

问题的提出
网页上文字信息和图片信息同时存在，图片比较多的时候加载比较慢，而且导致文字加载也比较慢。需要采用动静分离解决。

什么是动静分离
将动态请求和静态请求区分访问

为什么要做动静分离
tomcat本身处理静态效率不高,还会带来资源开销.所以使用动静分离，将静态由Nginx处理, 动态由PHP处理或Tomcat处理

如何实现动静分离
Nginx根据客户端请求的url来判断请求的是否是静态资源，如果请求的url包含jpg、png，则由Nginx处理。

如果请求的url是.php或者.jsp等等，这个时候这个请求是动态的，将转发给tomcat处理总结来说，Nginx是通过url来区分请求的类型，并转发给不同的服务端

二、FastDFS简介

FastDFS是由淘宝的余庆先生所开发，是一个轻量级、高性能的开源分布式文件系统，用纯C语言开发，包括文件存储、文件同步、文件访问（上传、下载）、存取负载均衡、在线扩容、相同内容只存储一份等功能，适合有大容量存储需求的应用或系统。做分布式系统开发时，其中要解决的一个问题就是图片、音视频、文件共享的问题，分布式文件系统正好可以解决这个需求。同类的分布式文件系统有谷歌的GFS、HDFS（Hadoop）、TFS（淘宝）等。

源码开放下载地址：https://github.com/happyfish100

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
在这里插入图片描述
FastDFS文件上传流程：

1)、client询问tracker上传到的storage，不需要附加参数；
2)、tracker返回一台可用的storage；
3)、client直接和storage通讯完成文件上传。

FastDFS文件下载流程：
在这里插入图片描述
1)、client询问tracker下载文件的storage，参数为文件标识（组名和文件名）；
2)、tracker返回一台可用的storage；
3)、client直接和storage通讯完成文件下载。

常见术语
FastDFS两个主要的角色：Tracker Server 和 Storage Server Tracker

Server：跟踪服务器，主要负责调度storage节点与client通信，在访问上起负载均衡的作用，和记录storage节点的运行状态，是连接client和storage节点的枢纽。

Storage Server：存储服务器，保存文件和文件的meta data（元数据）

Group：文件组，也可以称为卷。同组内服务器上的文件是完全相同的，做集群时往往一个组会有多台服务器，上传一个文件到同组内的一台机器上后，FastDFS会将该文件即时同步到同组内的其它所有机器上，起到备份的作用。

meta data：文件相关属性，键值对（Key Value Pair）方式，如：width=1024, height=768。和阿里云OSS的meta data相似。

三、安装和配置

1、规划

跟踪服务器（Tracker Server）：
存储服务器（Storage Server）：
操作系统：CentOS7.4
用户：root
数据存储目录：/fastdfs
安装包：
FastDFS_v5.05.tar.gz：FastDFS源码
libfastcommon.tar.gz：（从 FastDFS 和 FastDHT 中提取出来的公共 C 函数库）
fastdfs-nginx-module_v1.16.tar.gz：storage节点http服务nginx模块
nginx-1.12.0.tar.gz：Nginx安装包

2、下载和安装

下载并上传到Linux服务器上：
方式1：热心网友提供的网盘：https://pan.baidu.com/s/12K0glN7gzvunI6M_I_ZNhA 提取码：3312

方式2：分别下载
FastDFS下载：https://github.com/happyfish100/fastdfs/tags
libfastcommon下载：https://github.com/happyfish100/libfastcommon/tags
fastdfs-nginx-module下载：https://github.com/happyfish100/fastdfs-nginx-module/tags
nginx下载：http://nginx.org/download/

1)、上传文件

在这里插入图片描述

2)、安装所需依赖包

# gcc编译器
yum install make cmake gcc gcc-c++

安装好了查看gcc版本

gcc -v

在这里插入图片描述

3)、安装libfastcommon

①、解压

tar -zxvf libfastcommon.tar.gz

②、进入到解压后的文件夹执行编译、安装

cd libfastcommon-1.0.7
./make.sh
./make.sh install

在这里插入图片描述

4)、安装FastDFS

①、解压

tar -zxvf FastDFS_v5.05.tar.gz

②、进入到解压后的文件夹FastDFS执行编译、安装

cd FastDFS
./make.sh
./make.sh install

在这里插入图片描述

上面的步骤安装完了，在/etc/fdfs/下会生成3个配置文件，后面会用到

client.conf.sample  storage.conf.sample  tracker.conf.sample

5)、配置tracker服务器

①、进入到/etc/fdfs/，复制tracker样例配置文件，并重命名

cp tracker.conf.sample tracker.conf

②、修改tracker配置文件

vim tracker.conf

修改内容如下：

#默认值
disabled=false # 启用配置文件
port=22122 # tracker服务器端口（默认22122）

base_path=/fastdfs/tracker # 存储日志和数据的根目录
store_group=group1

③、创建base_path指定的目录

mkdir -p /fastdfs/tracker

在这里插入图片描述
④、防火墙中打开tracker服务器端口（默认为 22122）。
注：阿里云应该配置并开启安全组，配置外网可以访问该端口号

vim /etc/sysconfig/iptables

末尾添加

-A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT

重启防火墙：

service iptables restart

⑤、启动tracker服务器

/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf start

注：如果是重启需要使用restart命令
初次启动，会在/fastdfs/tracker目录下生成logs、data两个目录

⑥、检查FastDFS Tracker Server是否启动成功

ps -ef | grep fdfs_trackerd

在这里插入图片描述

6)、配置storage服务器

①、进入到/etc/fdfs/，复制storage样例配置文件，并重命名

 cp storage.conf.sample storage.conf

②、修改配置文件

vim storage.conf

修改部分内容如下

#默认值
group_name=group1 #必须和tracker的组名相同
disabled=false # 启用配置文件
port=23000 # storage服务端口

base_path=/fastdfs/storage # 数据和日志文件存储根目录
store_path0=/fastdfs/storage # 第一个存储目录
tracker_server=阿里云外网ip:22122 # tracker服务器IP和端口,此处是上面预定好的ip
http.server_port=80 # http访问文件的端口,此处需要和后面nginx 监听端口保持一致

③、创建基础数据目录

mkdir -p /fastdfs/storage #此处上面配置的 base path 和 store_path0路径,因为上面的路径可能不存在

在这里插入图片描述
④、防火墙中打开storage服务器端口（默认为 23000）
注：阿里云应该配置并开启安全组，配置外网可以访问该端口号

vim /etc/sysconfig/iptables

添加如下端口行：

-A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT

重启防火墙

service iptables restart

⑤、启动storage服务器

/usr/bin/fdfs_storaged /etc/fdfs/storage.conf start

初次启动，会在/fastdfs/storage目录下生成logs、data两个目录。

⑥、检查FastDFS Tracker Server是否启动成功

ps -ef | grep fdfs_storaged

在这里插入图片描述

7)、文件上传测试

①、复制并Tracker服务器客户端client配置文件

cp client.conf.sample client.conf

②、修改client配置文件

vim client.conf

修改以下配置，其它保持默认

base_path=/fastdfs/tracker
tracker_server=阿里云外网ip:22122 #修改为tracker_server地址和端口

③、执行文件上传命令

/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/software/1.jpg

返回内容返回文件ID号：group1/M00/00/00/rBDZEl8SwsWAMBOuAAQrobGx-uU375.jpg 返回类似内容,表示上传成功
在这里插入图片描述
此时图片还不能外网访问，需要借助nginx实现外网访问

8)、安装fastdfs-nginx-module

在所有storage节点安装fastdfs-nginx-module

作用说明
FastDFS 通过 Tracker 服务器，将文件放在 Storage 服务器存储，但是同组存储服务器之间需要进入文件复制，有同步延迟的问题。假如Tracker 服务器将文件上传到了 10.0.31.201，上传成功后文件ID已经返回给客户端。此时 FastDFS 存储集群机制会将这个文件同步到同组存储 10.0.31.202，在文件还没有复制完成的情况下，客户端如果用这个文件 ID 在 10.0.31.203 上取文件，就会出现文件无法访问的错误。而 fastdfs-nginx-module 可以重定向文件连接到源服务器取文件，避免客户端由于复制延迟导致的文件无法访问错误

①、解压并进入到解压后的文件夹

tar -zxvf fastdfs-nginx-module_v1.16.tar.gz
cd fastdfs-nginx-module

在这里插入图片描述
②、修改config配置
去掉文本中所有的local(3个)

vim ./src/config

在这里插入图片描述
③、修改mod_fastdfs.conf

vim ./src/mod_fastdfs.conf

修改的内容如下：

base_path=/fastdfs/storage #此处必须是存储路径
tracker_server=阿里云外网ip:22122
group_name=group1 #和前面配置组名保持一致
store_path0=/fastdfs/storage #即M00
url_have_group_name = true #允许使用组名

④、将文件复制到etc中

cp ./src/mod_fastdfs.conf /etc/fdfs/
cp /usr/lib64/libfdfsclient.so /usr/lib

在这里插入图片描述
⑤、创建并复制所有内容到usr中

mkdir -p /usr/local/software/fastdfs-nginx-module
cp -r ./* /usr/local/software/fastdfs-nginx-module #路径不存在自行创建

在这里插入图片描述
⑥、复制FastDFS的部分配置文件到/etc/fdfs 目录

cd /usr/local/software/FastDFS/conf
cp http.conf mime.types /etc/fdfs/

在这里插入图片描述
⑦、在/fastdfs/storage文件存储目录下创建软连接，将其链接到实际存放数据的目录

ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00

在这里插入图片描述

9)、安装Nginx

已安装了Nginx
这里我已安装了Nginx，如果没有安装请往下看
①将上面的fastdfs-nginx-module模块添加到nginx中
只需要在原来的基础上添加新模块--add-module=/usr/local/software/fastdfs-nginx-module/src

进入到原来的nginx解压目录执行

./configure --prefix=/usr/local/software/nginx --sbin-path=/usr/bin/nginx --add-module=/usr/local/software/fastdfs-nginx-module/src

在这里插入图片描述
②、重新编译安装

make
make install

③、修改配置文件

vim /usr/local/nginx/conf/nginx.conf

在配置文件夹中添加内容：

# 在原来的location /{
#...
#}块的下面添加如下内容：
location /group1/M00/{
	root /fastdfs/storage/data;
	ngx_fastdfs_module;
}

④、启动nginx

nginx

⑤、测试
测试上传后返回的文件ID为/group1/M00/00/00/rBDZEl8SwsWAMBOuAAQrobGx-uU375.jpg，浏览器加上外网地址：

http://121.196.62.166/group1/M00/00/00/rBDZEl8SwsWAMBOuAAQrobGx-uU375.jpg

在这里插入图片描述

没有安装Nginx
①、先安装nginx需要的依赖

yum -y install pcre-devel zlib-devel openssl openssl-devel

②、创建nginxclient文件夹

mkdir -p /var/temp/nginx/client

③、解压并进入nginx文件夹，并configure

# 解压 tar -zxvf nginx-1.12.0.tar.gz
# 进入目录
cd nginx-1.12.0
# configure命令（下面是一条命令）
./configure \
--prefix=/usr/local/nginx \
--pid-path=/var/run/nginx/nginx.pid \
--lock-path=/var/lock/nginx.lock \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--with-http_gzip_static_module \
--http-client-body-temp-path=/var/temp/nginx/client \
--http-proxy-temp-path=/var/temp/nginx/proxy \
--http-fastcgi-temp-path=/var/temp/nginx/fastcgi \
--http-uwsgi-temp-path=/var/temp/nginx/uwsgi \
--http-scgi-temp-path=/var/temp/nginx/scgi \
--add-module=/usr/local/software/fastdfs-nginx-module/src #此处和上面fastdfs-nginx-module配置路径对应

④、编译并安装

make
make install

⑤、修改配置文件

vim /usr/local/nginx/conf/nginx.conf

在配置文件夹中添加内容：

# 在原来的location /{
#...
#}块的下面添加如下内容：
location /group1/M00/{
	root /fastdfs/storage/data;
	ngx_fastdfs_module;
}

⑥、检查nginx配置文件是否有效

/usr/local/nginx/sbin/nginx -t

⑦、防火墙中打开 Nginx 的 80 端口
注：阿里云应该配置并开启安全组，配置外网可以访问该端口号
为了防止出现问题,最好在防火墙中放行80端口,放行方式和上面放行其他的一致,修改完成后保存重启防火墙
启动Nginx

/usr/local/nginx/sbin/nginx ngx_http_fastdfs_set pid=xxx

nginx重启命令为：/usr/local/nginx/sbin/nginx -s reload 启动nginx后，如果打印出ngx_http_fastdfs_set pid=xxx，表示fastdfs-nginx-module模块加载成功了，xxx表示模块的进程ID。

⑨、测试是否成功：通过浏览器访问测试时上传的文件

测试上传后返回的文件ID为：group1/M00/00/00/CgAfvVnMWOiAaxm0AAA5ilsiE-g844.png，用浏览访问的地址为：http://阿里云外网ip/group1/M00/00/00/CgAfvVnMWOiAaxm0AAA5ilsiE-g844.png

四、Java实现文件上传到fastDFS

在Springboot中使用Java实现文件上传到fastDFS
目前github中比较流行的操作fastDFS的库为：FastDFS_Client https://github.com/tobato/FastDFS_Client
该库需要跟springboot整合，具体操作如下：

1、导入依赖

<dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-thymeleaf</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>com.github.tobato</groupId>
            <artifactId>fastdfs-client</artifactId>
            <version>1.27.2</version>
        </dependency>

2、配置文件

fdfs:
  so-timeout: 1501
  connect-timeout: 601
  thumb-image: #缩略图生成参数
    width: 150
    height: 150
  tracker-list: 121.196.62.166:22122
  pool:
    #从池中借出的对象的最大数目（配置为-1表示不限制）
    max-total: -1
    #获取连接时的最大等待毫秒数(默认配置为5秒)
    max-wait-millis: 5000
    #每个key最大连接数
    max-total-per-key: 50
    #每个key对应的连接池最大空闲连接数
    max-idle-per-key: 10
    #每个key对应的连接池最小空闲连接数
    min-idle-per-key: 5
img_url: http://121.196.62.166/

3、Fdfs配置

@Configuration
@Import(FdfsClientConfig.class)
// 解决jmx重复注册bean的问题
@EnableMBeanExport(registration = RegistrationPolicy.IGNORE_EXISTING)
public class ComponetImport {
    // 导入依赖组件
}

4、功能代码

@Service
public class FileService {
    @Autowired
    private FastFileStorageClient client;

    @Value("${img_url}")
    private String imgUrl;

    public String upload(MultipartFile file) throws Exception {
        StorePath storePath = client.uploadFile(file.getInputStream(), file.getSize(), "jpg", null);
        //全路径
        String fullPath = imgUrl+storePath.getFullPath();
        System.out.println(fullPath);
        return fullPath;
    }
}

5、controller代码

@Controller
public class FileController {
    @Autowired
    private FileService fileService;
    
    @RequestMapping(value = "upload.html",method = RequestMethod.POST)
    public String upload(Model model, MultipartFile file){
        String path = null;
        try {
            path = fileService.upload(file);
        } catch (Exception e) {
            e.printStackTrace();
        }
        model.addAttribute("path",path);
        return "success";
    }
}

6、前端页面

index.html

<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>文件上传</title>
</head>
<body>
<!--application/x-www-form-urlencoded只能上传文本格式的文件，multipart/form-data是将文件以二进制的形式上传-->
<form action="/upload.html" method="post" enctype="multipart/form-data">
    <input type="file" name="file">
    <input type="submit" value="上传">
</form>
</body>
</html>

success.html

<!DOCTYPE html>
<html lang="en" xmlns:th="http://www.w3.org/1999/xhtml">
<head>
    <meta charset="UTF-8">
    <title>上传成功</title>
</head>
<body>
<img th:src="${path}" >
</body>
</html>

测试，浏览器打开http://localhost:8080/进行文件上传，上传成功返回显示上传的图片
在这里插入图片描述

海波booy

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
FastDFS分布式文件系统入门安装配置使用

一、动静分离问题的提出网页上文字信息和图片信息同时存在，图片比较多的时候加载比较慢，而且导致文字加载也比较慢。需要采用动静分离解决。什么是动静分离将动态请求和静态请求区分访问为什么要做动静分离tomcat本身处理静态效率不高,还会带来资源开销.所以使用动静分离，将静态由Nginx处理, 动态由PHP处理或Tomcat处理如何实现动静分离Nginx根据客户端请求的url来判断请求的是否是静态资源，如果请求的url包含jpg、png，则由Nginx处理。如果请求的url是.php或者.jsp等
复制链接

扫一扫