Nginx和FastDFS的整合

已于 2023-11-25 15:14:54 修改
阅读量1k 收藏 20
点赞数 20
分类专栏： 中间件 文章标签： nginx 学习 linux c语言 服务器 ubuntu
于 2023-11-25 15:13:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_65360223/article/details/134615032
版权

1、为什么需要整合FastDFS和Nginx

一个好的分布式文件系统最好提供Nginx的模块，因为对于互联网应用来说，像文件这种静态资源，一般是通过HTTP的下载，此时通过容易扩展的Nginx来访问FastDFS，能够让文件的上传和下载变得特别简单。

Nginx安装FastDFS模块，主要是安装在FastDFS的存储服务器(storage)上，而不是tracker和client上。

目的实际是为了，当输入地址(其中192.168.163.134 是一个storage服务器)：

http://192.168.163.134/group1/M00/00/00/wKijhmVhmIqASb3LAANln4yMdPQ502.jpg

能够通过Nginx的Web服务功能，直接返回图片。

下面我们结合文件上传下载的例子来看：

2、文件上传下载流程

  1. 文件上传流程

    在这里插入图片描述

  2. 文件下载流程

    在这里插入图片描述

  3. 优化

    优化思路:

      • 直接让客户端连接fastDFS的存储节点, 实现文件下载

      • 举例, 访问一个url直接下载:

        http://192.168.163.134/group1/M00/00/00/wKijhmVhmIqASb3LAANln4yMdPQ502.jpg

    在这里插入图片描述

  1. 客户端发送请求使用的协议: http

    • fastDFS能不能解析http协议

    • nginx能解析http协议

      • 在nginx中安装fastDFS的插件

  3. 客户端怎么知道文件就存储在对应的那个存储节点上?

    • 上传的时候将fileID和存储节点IP地址都进行存储

3、Nginx上部署FastDFS

注意：全部安装条件在确保之前的FastDFS 的tracker、storage和client可以正常使用。

安装包名称：fastdfs-nginx-module_v1.16.tar.gz

安装步骤：

  1. 解压Nginx的FastDFS模块包：tar -xzvf fastdfs-nginx-module_v1.16.tar.gz

    cd fastdfs-nginx-module/

    会发现里面有个INSTALL、HISTORY 和 src目录，这个不需要make而是需要重新编译一下storage的Nginx模块。

    在这里插入图片描述

  2. 在FastDFS的存储节点上安装Nginx, 将软件安装包拷贝到fastDFS存储节点对应的主机上

    # 1. 找fastDFS的存储节点
# 2. 在存储节点对应的主机上安装Nginx, 安装的时候需要一并将插件装上
#	- (余庆提供插件的代码   +   nginx的源代码 ) * 交叉编译 = Nginx

    由于我们之前在这台主机上安装过Nginx，而且也是这台主机作为存储节点，所以直接进入Nginx源码安装目录，进行如下操作即可：

    cd nginx-1.10.1/
./configure --add-module=/home/user/soft/nginx-fastdfs-module/fastdfs-nginx-module/src

    其中/usr/local/src/fastdfs-nginx-module/src 是刚才解压的fastdfs模块的绝对路径，就是在编译Nginx时候，连同这个模块一起编译：

    make
sudo make install

    make中遇到的问题

    在这里插入图片描述

    这种问题我们进入objs目录，将Makefile里的 -Werror 去掉即可

    然后再次执行make就遇到了如下问题

    在这里插入图片描述

    原因是Nginx是会想/usr/local/include/fastdfs/去找， 而不是去/usr/include/fastdfs/去找

    解决方案1：

    #将/usr/include/fastdfs/ 和 /usr/include/fastcommon/ 两个文件夹拷贝到/usr/local/include/下即可
sudo cp /usr/include/fastdfs/ /usr/local/include/ -R
sudo cp /usr/include/fastcommon/ /usr/local/include/ -R

    解决方案2：

    # 修改objs/Makefile
ALL_INCS = -I src/core \
    -I src/event \
    -I src/event/modules \
    -I src/os/unix \
    -I /usr/local/include/fastdfs \
    -I /usr/local/include/fastcommon/ \
    -I objs \
    -I src/http \                                                                                         -I src/http/modules \
    
    -I /usr/include/fastdfs/

    添加完成后，再次make，遇到同样的问题

    在这里插入图片描述

    我们修改 objs/Makefile文件

    在这里插入图片描述

    再次执行make就成功了，然后再使用 sudo make install 即可

  3. 安装成功后, 启动Nginx, 发现没有 worker进程

    在这里插入图片描述

    我们进入 /usr/local/nginx/logs 查看 nginx 的error.log日志，找错误原因：

    在这里插入图片描述

    原来是找不到插件里的mod_fastdf.conf配置文件

    所以我们需要将该文件拷贝到 /etc/fdfs目录下

    # [2023-11-25 14:09:05] ERROR - file: shared_func.c, line: 968, file /etc/fdfs/mod_fastdfs.conf not exist
# 从哪儿找 -> fastDFS插件目录中找
user@user-virtual-machine:~/soft/nginx-fastdfs-module/fastdfs-nginx-module$ tree
.
├── HISTORY
├── INSTALL
└── src
    ├── common.c
    ├── common.h
    ├── config
    ├── mod_fastdfs.conf   ->将该文件 sudo cp mod_fastdfs.conf /etc/fdfs
    └── ngx_http_fastdfs_module.c

1 directory, 7 files

  4. 拷贝完成之后，需要修改mod_fdfs.conf文件, 根据当前存储节点的storage.conf进行修改

    # 存储log日志的目录
base_path=/home/user/fastdfs/storage
# 连接tracker地址信息
tracker_server=192.168.163.134:22122
# 存储节点绑定的端口
storage_server_port=23000
# 当前存储节点所属的组
group_name=group1
# 客户端下载文件的时候, 这个下载的url中是不是包含组的名字
// 上传的fileID: group1/M00/00/00/wKijhmVhmIqASb3LAANln4yMdPQ502.jpg
// 完整的url: http://192.168.163.134/group1/M00/00/00/wKijhmVhmIqASb3LAANln4yMdPQ502.jpg
url_have_group_name = true
# 存储节点上存储路径的个数
store_path_count=1
# 存储路径的详细信息
store_path0=/home/user/fastdfs/storage

  5. 修改完配置文件后重新启动 Nginx, 还是没有worker进程, 查看error.log日志

    在这里插入图片描述

    还是同样的问题，我们需要找到 http.conf文件，然后再拷贝到 /etc/fdfs 目录即可

    在这里插入图片描述

    # [2023-11-25 14:26:02] ERROR - file: ini_file_reader.c, line: 631, include file "http.conf" not exists, line: "#include http.conf"
从 /etc/fdfs 下找的时候不存在
	- 从fastDFS源码安装目录找/conf
	- sudo cp http.conf /etc/fdfs
# 重新启动 Nginx，发现还是没有 worker进程，再次查看error.log日志：
# [2023-11-25 14:32:18] ERROR - file: shared_func.c, line: 968, file /etc/fdfs/mime.types not exist
	- 从nginx的源码安装包中找/conf
	- sudo cp mime.types /etc/fdfs

  6. 再次重启Nginx，发现 worker 进程终于启动了

    在这里插入图片描述

  7. 测试

    启动FastDFS的 tracker 和 storage 守护进程，然后上传一个本地图片用于浏览器进行下载

    在这里插入图片描述

    文件id：group1/M00/00/00/wKijhmVhmIqASb3LAANln4yMdPQ502.jpg

  8. 打开浏览器，输入：http://192.168.163.134/group1/M00/00/00/wKijhmVhmIqASb3LAANln4yMdPQ502.jpg

    在这里插入图片描述

    # 错误信息
#2023/11/25 14:51:50 [error] 6861#0: *2 open() "/usr/local/nginx/zyFile2/favicon.ico" failed (2: No such file or directory), client: 192.168.163.1, server: localhost, request: "GET /favicon.ico HTTP/1.1", host: "192.168.163.134", referrer: "http://192.168.163.134/upload/"
# 错误原因
服务器在查找资源时候, 找的位置不对, 需要给服务器指定一个正确的位置, 如何指定?
	- 资源在哪? 在存储节点的存储目录中 store_path0
	- 如何告诉服务器资源在这? 在服务器端添加location处理
locatioin /group1/M00/00/00/wKj3h1vJSOqAM6RHAAvqH_kipG8229.jpg
location /group1/M00/00/00/
location /group1/M00/
# 在 /usr/local/nginx/conf/nginx.conf 配置文件中配置如下 location 处理
location /group1/M00/
{
	# 告诉服务器资源的位置
	root /home/user/fastdfs/storage/data;
	ngx_fastdfs_module;
}
# 重新启动 nginx
sudo nginx -s reload
# 会出现下面一条命令，表示插件模块的一个进程
ngx_http_fastdfs_set pid=6961

  9. 再次访问浏览器，如果得到图片显示，则表示storage已经成功配置Nginx服务。

    在这里插入图片描述

storage服务器的 ip 地址可通过“fdfs_file_info”获取

fdfs_file_info /etc/fdfs/client.conf /group1/M00/00/00/wKj3h1vJSOqAM6RHAAvqH_kipG8229.jpg

在这里插入图片描述

小嗞嗞
关注
  • 20
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
fastdfs整合nginx相关包
06-22
整合FastDFS与Nginx能够实现高并发、高可用的文件服务，提高系统的扩展性和稳定性。Nginx作为前端服务器，可以处理大量并发请求，减轻后端FastDFS的压力，同时通过缓存策略提高文件访问速度。对于大型网站或企业来说...
Nginx+FastDFS
qq_45393339的博客
06-27 3183
代理：通过客户机的配置，实现让一台服务器代理客户机，客户的所有请求都交给代理服务 器处理。正向代理比如：各种翻墙软件，vpn，各种游戏加速器等等。反向代理：用一台服务器，代理真实服务器，用户访问时，不再是访问真实服务器，而是代 理服务器。我们需要提前在nginx中配置好反向代理的规则，不同的请求，交给不同的真实服务器处理当请求到达nginx，nginx会根据已经定义的规则进行请求的转发，从而实现路由功能。
FastDFS为什么要用Nginx做代理
qq_37457564的博客
09-01 2206
一、FastDFS简要介绍 1.是什么 FastDFS就是一种轻量级的、常用的分布式文件系统，通常用作图片服务器。 2.两个部分都是干什么的 FastDFS分为两个部分，Tracker和Storage。 Tracker作为协调者，用户上传和下载文件都要通过tracker。 Storage是存储节点，主要用来存储文件。storage可以分成多个组，每个组有若干个节点，这些节点放的文件...
centos7搭建fastdfs通过nginx访问保姆级教程
最新发布
qq_30255033的博客
05-24 1125
FastDFS是一个开源的分布式文件系统，她对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。存储节点存储文件，完成文件管理的所有功能：存储、同步和提供存取接口，FastDFS同时对文件的meta data进行管理。
用FastDFS集群自己动手搭建一个文件管理系统，给我学！
linuxguitu的博客
01-27 1243
目录 一、FastDFS介绍 简介 FastDFS的存储策略 FastDFS的上传过程 FastDFS的文件同步 FastDFS的文件下载 二、安装FastDFS环境 前言 下载安装 libfastcommon 下载安装FastDFS 配置FastDFS跟踪器(Tracker) 配置 FastDFS 存储 (Storage) 文件上传测试 三、安装Nginx 安装nginx所需环境　　 安装Nginx 访问文件 四、FastDFS 配置 Nginx 模块 安装配置Nginx.
11-FastDFS文件服务器 和 Nginx
NikoChina的博客
05-23 959
1、开源的轻量级分布式，用于解决大数据量存储和负载均衡等问题。支持HTTP协议传输文件（结合Nginx）；对文件内容做Hash处理，节约磁盘空间；支持负载均衡、整体性能较佳。3、FastDFS的二个角色：跟踪服务器（Tracker）、存储服务器（Storage）。跟踪服务器：主要做工作，起到负载均衡的作用。它是客户端和存储服务器交互的枢纽。存储服务器：主要提供，存储服务器是以组（Group）为单位，每个组内可以有多台存储服务器，数据互为备份。文件及属性（Meta Data）都保存在该服务器上。
FastDFS+Nginx - 本地搭建文件服务器同时实现在外远程访问「端口映射」
小吉妙妙屋
08-31 4887
FastDFS+Nginx - 本地搭建文件服务器同时实现在外远程访问
Nginx+FastDFS整合安装与配置详细图文教程.pdf
05-27
Nginx+FastDFS安装与配置图文教程，亲自把项目中所用到的安装配置过程记录下来，帮忙后面需要的同学更快地完成FastDfs搭建
FastDFS安装与Nginx整合
12-20
- 通过浏览器访问`http://your_domain/group1/M00/00/00/wKgHlFzWYj-AfVZbAALCZtLkX4g01.jpg`，如果能正确显示图片，说明Nginx与FastDFS整合成功。 至此，FastDFS的安装与Nginx的整合已完成。你可以根据业务需求...
FastDFS及Nginx整合实现代码解析
09-29
在IT领域，尤其是在分布式存储和Web服务中，FastDFS和Nginx的整合是一个常见的解决方案，主要用于实现高效、可靠的文件上传和下载服务。FastDFS是一个开源的轻量级分布式文件系统，而Nginx则是一款高性能的反向代理...
fastDFS+Nginx整合包.zip
09-16
fastDFS+Nginx安装包(Linux版本)。 - fastdfs-5.05.tar.gz - fastdfs-nginx-module_v1.16 tar.gz - libfastcommon-1.0.7.tar.gz - nginx-1.12.0
FastDFS 文件系统搭建
m0_37598953的博客
10-11 397
FastDFS+Nginx实现文件服务器 FastDFS下载安装 下载 下载地址有两个： http://sourceforge.net/projects/FastDFS/ 或者https://github.com/happyfish100/FastDFS （推荐） 本教程下载：FastDFS_v5.08.tar.gz 具体参照 url:https://www.cnblogs.com/ch...
FastDFS配置，并与Nginx结合实现文件服务器
Qynwang的博客
04-23 2204
tracker 和storage 都是同一个 fastdfs 的主程序的两个不同概念，配置不同的配置文件就可以将其设定为 tracker 或者 storage。进入到 fastdfs-6.0.4 目录，查看make.sh文件，可以看到 fastdfs 安装位置。1. 进入 /etc/fdfs/ 目录下，找到 tracker.conf 文件进行配置。将所需文件上传到 /home/software/FastDFS/ 下。可以将 解压后的文件夹里的配置文件也移动到 /etc/fdfs 下。
linux 安装 fastDFS 配置nginx访问(单节点)
weixin_42725397的博客
04-14 580
访问: http://192.168.10.134/group1/M00/00/00/wKgKhmQ5SdWAIyd4AAAAFKptzy0366.txt。原因是Nginx是会想/usr/local/include/fastdfs/去找， 而不是去/usr/include/fastdfs/去找。编译nginx的时候: ule-1.23/src//common.c:351:32: 错误：在非结构或联合中请求成员‘path’上传到 /usr/local/fastDfs目录下, 并解压。
分布式学习第五条 Nginx + FastDFS
RYIJU5YUJTY的博客
07-02 634
nginx+FastDFS实现下载功能
FastDFS+Nginx，轻轻松松搭建一个本地文件服务器
Java笔记虾
09-09 699
前言FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、...
CentOS部署FastDFS+Nginx并实现远程访问本地服务器中文件
LT15171009269的博客
03-04 3673
详细搭建FastDFS教程,并结合Nginx+cpolar工具实现远程访问文件。
FastDFS+nginx服务搭建与配置
wl的博客
10-31 4986
FastDFS+nginx服务搭建与配置
FastDFS与Nginx结合搭建文件服务器，并内网穿透实现公网访问
编码世界
03-29 3842
FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。
fastdfs整合nginx
05-11
FastDFS 是一个开源的轻量级分布式文件系统，它可以提供高性能的文件存储和访问服务。而 Nginx 是一个高性能的 Web 服务器和反向代理服务器，它可以用来加速静态文件的访问和负载均衡。 将 FastDFS 整合到 Nginx 中，可以通过 Nginx 提供的访问控制和负载均衡机制，提高 FastDFS 的性能和可靠性。 以下是 FastDFS 整合 Nginx 的步骤： 1. 安装 FastDFS 和 Nginx 在安装 FastDFS 和 Nginx 之前，需要确保系统已经安装了 libfastcommon 和 pcre 库。 安装 FastDFS 包括 tracker 和 storage 两个组件，可以通过以下命令进行安装： ``` wget https://github.com/happyfish100/fastdfs/archive/V5.11.tar.gz tar -zxvf V5.11.tar.gz cd fastdfs-5.11/ ./make.sh ./make.sh install ``` 安装 Nginx 可以通过以下命令进行安装： ``` wget https://nginx.org/download/nginx-1.20.0.tar.gz tar -zxvf nginx-1.20.0.tar.gz cd nginx-1.20.0/ ./configure --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module make make install ``` 2. 配置 FastDFS 配置 FastDFS 的时候，需要修改 tracker 和 storage 的配置文件，使其能够正常工作。 tracker 的配置文件路径为 /etc/fdfs/tracker.conf，可以通过以下命令进行修改： ``` vi /etc/fdfs/tracker.conf ``` 修改 tracker_server 配置项，将其设置为本机IP地址，例如： ``` tracker_server=192.168.1.100:22122 ``` storage 的配置文件路径为 /etc/fdfs/storage.conf，可以通过以下命令进行修改： ``` vi /etc/fdfs/storage.conf ``` 修改 tracker_server、store_path0 和 base_path 配置项，将其设置为本机IP地址和存储路径，例如： ``` tracker_server=192.168.1.100:22122 store_path0=/data/fastdfs/storage base_path=/data/fastdfs ``` 3. 配置 Nginx 配置 Nginx 的时候，需要修改 nginx.conf 配置文件，使其能够正常工作。 nginx.conf 的路径为 /usr/local/nginx/conf/nginx.conf，可以通过以下命令进行修改： ``` vi /usr/local/nginx/conf/nginx.conf ``` 在 http 配置段中添加以下配置： ``` http { ... # fastdfs 配置 fastcgi_connect_timeout 300; fastcgi_send_timeout 300; fastcgi_read_timeout 300; fastcgi_buffer_size 64k; fastcgi_buffers 4 64k; fastcgi_busy_buffers_size 128k; fastcgi_temp_file_write_size 128k; fastcgi_intercept_errors on; fastcgi_pass_header Server; fastcgi_hide_header X-Powered-By; fastcgi_param QUERY_STRING $query_string; fastcgi_param REQUEST_METHOD $request_method; fastcgi_param CONTENT_TYPE $content_type; fastcgi_param CONTENT_LENGTH $content_length; fastcgi_param SCRIPT_NAME $fastcgi_script_name; fastcgi_param REQUEST_URI $request_uri; fastcgi_param DOCUMENT_URI $document_uri; fastcgi_param DOCUMENT_ROOT $document_root; fastcgi_param SERVER_PROTOCOL $server_protocol; fastcgi_param GATEWAY_INTERFACE CGI/1.1; fastcgi_param SERVER_SOFTWARE nginx; fastcgi_param REMOTE_ADDR $remote_addr; fastcgi_param REMOTE_PORT $remote_port; fastcgi_param SERVER_ADDR $server_addr; fastcgi_param SERVER_PORT $server_port; fastcgi_param SERVER_NAME $server_name; # fastdfs 分组和文件id参数 fastcgi_param FILE_GROUP $arg_group_name; fastcgi_param FILE_ID $arg_file_id; # fastdfs 路径 fastcgi_param FASTCGI_SCRIPT_NAME /fastdfs; fastcgi_param FASTCGI_DOCUMENT_ROOT /usr/local/nginx/html; } ``` 在 server 配置段中添加以下配置： ``` server { ... location /group1/M00 { ngx_fastdfs_module; } } ``` 其中，/group1/M00 是 FastDFS 中默认的组名和存储路径，可以根据实际情况进行修改。 4. 启动 FastDFS 和 Nginx 启动 FastDFS 和 Nginx 可以通过以下命令进行启动： ``` /etc/init.d/fdfs_trackerd start # 启动 tracker /etc/init.d/fdfs_storaged start # 启动 storage /usr/local/nginx/sbin/nginx # 启动 nginx ``` 启动成功后，可以通过访问 http://localhost/group1/M00/test.jpg 来测试是否能够正常访问 FastDFS 中的文件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值