FastDFS+Nginx单机配置

最新推荐文章于 2023-04-02 19:35:04 发布

李二的Blog

最新推荐文章于 2023-04-02 19:35:04 发布

阅读量1.5k

点赞数

分类专栏：项目学习 Maven 项目学习

本文链接：https://blog.csdn.net/CowBoyClimber/article/details/80113821

版权

项目学习同时被 3 个专栏收录

8 篇文章 0 订阅

订阅专栏

项目学习

8 篇文章 0 订阅

订阅专栏

Maven

6 篇文章 0 订阅

订阅专栏

简介：

FastDFS是由淘宝的余庆先生所开发，是一个轻量级、高性能的开源分布式文件系统，用纯C语言开发，包括文件存储、文件同步、文件访问（上传、下载）、存取负载均衡、在线扩容、相同内容只存储一份等功能，适合有大容量存储需求的应用或系统。做分布式系统开发时，其中要解决的一个问题就是图片、音视频、文件共享的问题，分布式文件系统正好可以解决这个需求。同类的分布式文件系统有谷歌的GFS、HDFS（Hadoop）、TFS（淘宝）等。

1、client询问tracker下载文件的storage，参数为文件标识（组名和文件名）；

2、tracker返回一台可用的storage；

3、client直接和storage通讯完成文件下载。

术语

FastDFS两个主要的角色：Tracker Server 和 Storage Server Tracker Server：跟踪服务器，主要负责调度storage节点与client通信，在访问上起负载均衡的作用，和记录storage节点的运行状态，是连接client和storage节点的枢纽。 Storage Server：存储服务器，保存文件和文件的meta data（元数据） Group：文件组，也可以称为卷。同组内服务器上的文件是完全相同的，做集群时往往一个组会有多台服务器，上传一个文件到同组内的一台机器上后，FastDFS会将该文件即时同步到同组内的其它所有机器上，起到备份的作用。 meta data：文件相关属性，键值对（Key Value Pair）方式，如：width=1024, height=768。和阿里云OSS的meta data相似。

本人的能力：本人接触分布式系统，集群这些比较晚，大致只能理解到多台机器上多个引用协调运行，并能够保证数据流通正常的系统。目前只能理解这么多，个人习惯先看效果，不管咋样跑起来再说，喜欢从中间开始学习，兼顾理论。欢迎各位告诉我一个比较好的学习方式。当然可以指点我更好！！

安装Fastdfs

1、下载软件：http://nginx.org/download/ https://github.com/happyfish100/fastdfs （libfastcommon）

fastdfs-nginx-module_v1.16.tar.gz

FastDFS_v5.05.tar.gz

libfastcommon-master.zip

nginx-1.8.0.tar.gz

1、安装 libfastcommon-master.zip（默认安装）

lxj@Lenovo:/opt/FastDFS$ sudo cp ~/下载/libfastcommon-master.zip .

lxj@Lenovo:/opt/FastDFS$ sudo unzip libfastcommon-master.zip

lxj@Lenovo:/opt/FastDFS$ cd libfastcommon-master/

lxj@Lenovo:/opt/FastDFS/libfastcommon-master$ ll

lxj@Lenovo:/opt/FastDFS/libfastcommon-master$ sudo ./make.sh

libfastcommon.so 默认安装到了/usr/lib64/libfastcommon.so，而FastDFS主程序设置的lib目录是/usr/local/lib，因此需要设置软链接。

sudo ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so

sudo ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so

2、安装FastDFS

解压：

lxj@Lenovo:/opt/FastDFS$ sudo tar -zxvf fastdfs-5.05.tar.gz

编译安装（默认安装）

lxj@Lenovo:/opt/FastDFS$ cd fastdfs-5.05/

lxj@Lenovo:/opt/FastDFS/fastdfs-5.05$ sudo ./make.sh

lxj@Lenovo:/opt/FastDFS/fastdfs-5.05$ sudo ./make.sh install

可以看家/etc/fdfs下面多了几个文件

            3、配置tracker目录节点
       创建tracker的数据文件和日志文件目录
       lxj@Lenovo:/opt/FastDFS/data$ sudo mkdir fdfs_tracker
       lxj@Lenovo:/opt/FastDFS/data$ cd fdfs_tracker/
       lxj@Lenovo:/opt/FastDFS/data/fdfs_tracker$ pwd
       /opt/FastDFS/data/fdfs_tracker
       lxj@Lenovo:/opt/FastDFS/data/fdfs_tracker$ cd ..
       lxj@Lenovo:/opt/FastDFS/data$ cd ..
       lxj@Lenovo:/opt/FastDFS$ sudo chmod 777 data/ -R
       lxj@Lenovo:/opt/FastDFS$ ll
       修改tracker配置文件（简单配置不考虑优化）
       # the base path to store data and log files
       base_path=/opt/FastDFS/data/fdfs_tracker

       # HTTP port on this tracker server
       http.server_port=6666
       创建软链接
       lxj@Lenovo:/etc/fdfs$ sudo ln -s /usr/bin/fdfs_trackerd /usr/local/bin
       lxj@Lenovo:/etc/fdfs$ sudo ln -s /usr/bin/stop.sh /usr/local/bin
       lxj@Lenovo:/etc/fdfs$ sudo ln -s /usr/bin/restart.sh /usr/local/bin
       启动：
       方式1
       lxj@Lenovo:/usr/local/bin$ fdfs_trackerd /etc/fdfs/tracker.conf
       关闭：
       lxj@Lenovo:/usr/local/bin$ stop.sh fdfs_trackerd /etc/fdfs/tracker.conf
       stopping fdfs_trackerd ...
       .
       方式2
       # service fdfs_trackerd start #启动tracker节点
       这总方式我没有成功过，提示：

Failed to stop fdfs_trackerd.service: Unit fdfs_trackerd.service not loaded.不明觉厉，没有想到好的解决方案。哎还是太菜了。

生成日志文件：

4、配置storage节点：
           创建数据文件和日志文件
       lxj@Lenovo:/opt/FastDFS/data$ sudo mkdir fdfs_storage
       lxj@Lenovo:/opt/FastDFS/data$ cd fdfs_storage/
       lxj@Lenovo:/opt/FastDFS/data/fdfs_storage$ pwd
       /opt/FastDFS/data/fdfs_storage
       编辑storage.conf文件
       lxj@Lenovo:/etc/fdfs$ sudo vi storage.conf
       group_name=group1   #组名，可根据实际情况修改
       base_path=/opt/FastDFS/data/fdfs_storage #设置storage数据文件和日志目录，需预先创建
       store_path_count=1 #存储路径个数，需要和 store_path 个数匹配、
       store_path0=/opt/FastDFS/data/fdfs_storage #存储路径
       tracker_server=192.168.116.145:22122 # #tracker 服务器的 IP地址和端口号，如果是单机搭建，IP不要写127.0.0.1，否则启动不成功。
       http.server_port=8888 #设置 http 端口号
       建立软链接
       sudo ln -s /usr/bin/fdfs_storaged /usr/local/bin
       启动：
       lxj@Lenovo:/usr/local/bin$ fdfs_storaged /etc/fdfs/storage.conf

日志文件内容:

启动成功后可运行：
           /usr/bin/fdfs_monitor /etc/fdfs/storage.conf查看是否登记到tracker服务器中。
[2018-04-26 21:35:48] DEBUG - base_path=/opt/FastDFS/data/fdfs_storage, connect_timeout=30, network_timeout=60, tracker_server_count=1, anti_steal_token=0, anti_steal_secret_key length=0, use_connection_pool=0, g_connection_pool_max_idle_time=3600s, use_storage_id=0, storage server id count: 0
server_count=1, server_index=0
tracker server is 192.168.1.118:22122
group count: 1
Group 1:
group name = group1
disk total space = 92782 MB
disk free space = 63765 MB
trunk free space = 0 MB
storage server count = 1
active server count = 1
storage server port = 23000
storage HTTP port = 8888
store path count = 1
subdir count per path = 256
current write server index = 0
current trunk file id = 0
   Storage 1:
       id = 192.168.1.118
       ip_addr = 192.168.1.118 ACTIVE
       http domain =
       version = 5.05
       join time = 2018-04-26 21:31:35
       up time = 2018-04-26 21:31:35
       total storage = 92782 MB
       free storage = 63765 MB
       upload priority = 10
       store_path_count = 1
       subdir_count_per_path = 256
       storage_port = 23000
       storage_http_port = 8888
       current_write_path = 0
       source storage id =
       if_trunk_server = 0
       connection.alloc_count = 256
       connection.current_count = 0
       connection.max_count = 0
       total_upload_count = 0
       success_upload_count = 0
       total_append_count = 0
       success_append_count = 0
       total_modify_count = 0
       success_modify_count = 0
       total_truncate_count = 0
       success_truncate_count = 0
       total_set_meta_count = 0
       success_set_meta_count = 0
       total_delete_count = 0
       success_delete_count = 0
       total_download_count = 0
       success_download_count = 0
       total_get_meta_count = 0
       success_get_meta_count = 0
       total_create_link_count = 0
       success_create_link_count = 0
       total_delete_link_count = 0
       success_delete_link_count = 0
       total_upload_bytes = 0
       success_upload_bytes = 0
       total_append_bytes = 0
       success_append_bytes = 0
       total_modify_bytes = 0
       success_modify_bytes = 0
       stotal_download_bytes = 0
       success_download_bytes = 0
       total_sync_in_bytes = 0
       success_sync_in_bytes = 0
       total_sync_out_bytes = 0
       success_sync_out_bytes = 0
       total_file_open_count = 0
       success_file_open_count = 0
       total_file_read_count = 0
       success_file_read_count = 0
       total_file_write_count = 0
       success_file_write_count = 0
       last_heart_beat_time = 2018-04-26 21:35:20
       last_source_update = 1970-01-01 08:00:00
       last_sync_update = 1970-01-01 08:00:00
       last_synced_timestamp = 1970-01-01 08:00:00
        配置防火墙
       sudo ufw status
       状态是不开启，所以懒得配置了，如果要在Ubuntu下配置，可以参考：
       http://www.veryhuo.com/a/view/16976.html
       FastDFS下防火墙设置可参考：

https://blog.csdn.net/xyang81/article/details/52928230

上传测试：
       修改客户端设置：
       # the base path to store log files
       base_path=/opt/FastDFS/data/fdfs_tracker

       # tracker_server can ocur more than once, and tracker_server format is
       # "host:port", host can be hostname or ip address
       tracker_server=192.168.1.118:22122
       执行上传命令：
       /usr/bin/fdfs_upload_file /etc/fdfs/client.conf ~/下载/redis教案.docx
       返回id号：

group1/M00/00/00/wKgBdlrh2-SAERaOAAom8eOuasY73.docx

        5、存储节点安装Nginx和fastdfs-nginx-module模块
       下载：
       Nginx：http://nginx.org/download/下载nginx
       fastdfs-nginx-module：下载地址:http://nchc.dl.sourceforge.net/project/fastdfs/FastDFS%20Nginx%20Module%20Source%20Code/fastdfs-nginx-module_v1.16.tar.gz
       解压：
       sudo tar -zxvf nginx-1.8.0.tar.gz
       安装：
       sudo ./configure --prefix=/opt/nginx –add-module=/opt/FastDFS/fastdfs-nginx-module/src
       报错：没有pcre library
       ./configure: error: the HTTP rewrite module requires the PCRE library.
You can either disable the module by using --without-http_rewrite_module
option, or install the PCRE library into the system, or build the PCRE library
statically from the source with nginx by using --with-pcre=<path> option.
       需要安装如下的库：
       1）PCRE库
       PCRE库支持正则表达式。如果我们在配置文件nginx.conf中使用了正则表达式，那么在编译Nginx时就必须把PCRE库编译进Nginx，因为Nginx的HTTP模块需要靠它来解析正则表达式。另外，pcre-devel是使用PCRE做二次开发时所需要的开发库，包括头文件等，这也是编译Nginx所必须使用的。可以这样安装：
   sudo apt-get install libpcre3 libpcre3-dev
       2）zlib库
   zlib库用于对HTTP包的内容做gzip格式的压缩，如果我们在nginx.conf中配置了gzip on，并指定对于某些类型（content-type）的HTTP响应使用gzip来进行压缩以减少网络传输量，则在编译时就必须把zlib编译进Nginx。zlib-devel是二次开发所需要的库。可以这样安装
   sudo apt-get install zlib1g-dev
   3）OpenSSL库
   如果服务器不只是要支持HTTP，还需要在更安全的SSL协议上传输HTTP，那么需要拥有OpenSSL。另外，如果我们想使用MD5、SHA1等散列函数，那么也需要安装它。可以这样安装：
   sudo apt-get install openssl libssl-dev

make报错：
   -o objs/addon/src/ngx_http_fastdfs_module.o \
   /opt/FastDFS/fastdfs-nginx-module/src/ngx_http_fastdfs_module.c
In file included from /opt/FastDFS/fastdfs-nginx-module/src/ngx_http_fastdfs_module.c:6:0:
/opt/FastDFS/fastdfs-nginx-module/src/common.c:21:25: fatal error: fdfs_define.h: 没有那个文件或目录
compilation terminated.
objs/Makefile:1098: recipe for target 'objs/addon/src/ngx_http_fastdfs_module.o' failed
make[1]: *** [objs/addon/src/ngx_http_fastdfs_module.o] Error 1
make[1]: Leaving directory '/opt/FastDFS/nginx-1.8.0'
Makefile:8: recipe for target 'build' failed
make: *** [build] Error 2
   执行一下命令：（不明白啥意思，哈哈）
   # ln -sv /usr/include/fastcommon /usr/local/include/fastcommon
   # ln -sv /usr/include/fastdfs /usr/local/include/fastdfs
   拷贝相关文件到/etc/fdfs目录下：
   lxj@Lenovo:/opt/FastDFS/fastdfs-nginx-module/src$ sudo cp mod_fastdfs.conf /etc/fdfs/
   lxj@Lenovo:/opt/FastDFS/fastdfs-5.05/conf$ sudo cp mime.types /etc/fdfs/
   lxj@Lenovo:/opt/FastDFS/fastdfs-5.05/conf$ sudo cp http.conf /etc/fdfs/
   lxj@Lenovo:/opt/FastDFS/fastdfs-5.05/conf$ sudo cp anti-steal.jpg /etc/fdfs/
   修改Nginx配置文件：
   server {
        listen      8888;
        server_name localhost;

        #charset koi8-r;

        #access_log logs/host.access.log main;

        location ~/group[1-3]/M00 {
            root   /opt/FastDFS/data/fdfs_storage/data;
            ngx_fastdfs_module;
        }
   修改/etc/fdfs/mod_fastdfs.conf的配置：
base_path=/opt/FastDFS/data/fdfs_storage #保存日志目录
tracker_server=192.168.1.118:22122 #tracker 服务器的 IP 地址以及端口号
url_have_group_name = true #文件 url 中是否有 group 名
store_path0=/data/fastdfs-storage # 存储路径
http.need_find_content_type=true # 从文件扩展名查找文件类型（nginx 时为true）
group_count = 3 #设置组的个数，事实上这次只使用了group1
在文件末添加如下内容：
[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/opt/FastDFS/data/fdfs_storage

[group2]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/data/fastdfs-storage

建立 M00 至存储目录的符号连接：

sudo ln -s /opt/FastDFS/data/fdfs_storage/data /opt/FastDFS/data/fdfs_storage/data/M00

启动nginx
lxj@Lenovo:/opt/nginx/sbin$ ./nginx
error while loading shared libraries: libfdfsclient.so: cannot open shared object file: No such file or directory
打开之前安装的libfastcommon

发现里面有两个.so文件：

猜测是此处的问题
   重新加上软链接：
   sudo ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
   sudo ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so
   再启动nginx：
   lxj@Lenovo:/opt/nginx/sbin$ ./nginx
   ngx_http_fastdfs_set pid=9524
   上传测试：

group1/M00/00/00/wKgBbVrjAfGAMIP-AAA8-a72Mtc71.jpeg

启动：
   tracker
   方式1
       lxj@Lenovo:/usr/local/bin$ fdfs_trackerd /etc/fdfs/tracker.conf
       关闭：
       lxj@Lenovo:/usr/local/bin$ stop.sh fdfs_trackerd /etc/fdfs/tracker.conf
       stopping fdfs_trackerd ...
       .
   storage
   启动：
       lxj@Lenovo:/usr/local/bin$ fdfs_storaged /etc/fdfs/storage.conf
   查看活跃状态：
       /usr/bin/fdfs_monitor /etc/fdfs/storage.conf查看是否登记到tracker服务器中。
   启动nginx
       /opt/nginx/sbin/nginx
上传测试：
       执行上传命令：
       /usr/bin/fdfs_upload_file /etc/fdfs/client.conf ~/下载/redis教案.docx

   20180427
       group1/M00/00/00/wKgBbVrjAfGAMIP-AAA8-a72Mtc71.jpeg


       group1/M00/00/00/wKgBdFru8zuARzIhAAA8-a72Mtc16.jpeg

   访问：

http://192.168.1.124:8888/group1/M00/00/00/wKgBdlrh8-WAYlezAAA8-a72Mtc19.jpeg

好了,折腾半天总算把它给正主来了,不容易啊!!

李二的Blog

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
FastDFS+Nginx单机配置

简介： FastDFS是由淘宝的余庆先生所开发，是一个轻量级、高性能的开源分布式文件系统，用纯C语言开发，包括文件存储、文件同步、文件访问（上传、下载）、存取负载均衡、在线扩容、相同内容只存储一份等功能，适合有大容量存储需求的应用或系统。做分布式系统开发时，其中要解决的一个问题就是图片、音视频、文件共享的问题，分布式文件系统正好可以解决这个需求。同类的分布式文件系统有谷歌的G...
复制链接

扫一扫