从零开始,轻松搭建FastDFS分布式文件系统

搭建环境

操作系统:Ubuntu 16.04
前提:开启root权限;如果没有,则所以在操作的时候需要使用sudo去获取一些执行权限。
版本(保证匹配):
(1)libfastcommon 1.0.50,是基础库(网络封装、线程封装等)。
(2)fastdfs 6.0.7,包含tracker、storage、client等的实现。

安装libfastcommon

libfastcommon 的github下载地址。
安装FastDFS前,需要先安装libfastcommon。

git clone https://gitee.com/fastdfs100/libfastcommon.git
cd libfastcommon
git checkout V1.0.50
./make.sh
sudo ./make.sh install

注意版本的切换,V是大写。
这里使用的gitee,因为从github可能存在下载失败的情况。

安装 FastDFS

git clone https://gitee.com/fastdfs100/fastdfs.git
cd fastdfs
git checkout V6.07
./make.sh
sudo ./make.sh install

注意版本的切换,V是大写。
这里使用的gitee,因为从github可能存在下载失败的情况。

配置Tracker

# 创建 Tracker 的存储日志和数据的根目录
sudo mkdir -p /home/fastdfs/tracker
cd /etc/fdfs
sudo cp tracker.conf.sample tracker.conf
# 配置 tracker.conf
sudo vim tracker.conf

在这里,tracker.conf 只是修改一下 Tracker 存储日志和数据的路径:

# 启用配置文件(默认为 false,表示启用配置文件)
disabled=false
# Tracker 服务端口(默认为 22122)
port=22122
# 存储日志和数据的根目录
base_path=/home/fastdfs/tracker

主要修改base_path路径。
base_path是存储日志和数据的根目录,在设置时要保证目录的存在;如果不存在可以自己去创建,也可以改为其他的目录。

port是Tracker的服务端口,如果是云服务器,一定要开放对应的端口。比如腾讯云或阿里云,要在web后台安全组放行端口,不是防火墙后台(注意)。

配置Storage

# 创建 Storage 的存储日志和数据的根目录
sudo mkdir -p /home/fastdfs/storage
cd /etc/fdfs
sudo cp storage.conf.sample storage.conf
# 配置 storage.conf
sudo vim storage.conf

在这里,storage.conf 只是修改一下 storage 存储日志和数据的路径:

# 启用配置文件(默认为 false,表示启用配置文件)
disabled=false
# Storage 服务端口(默认为 23000)
port=23000
# 数据和日志文件存储根目录
base_path=/home/fastdfs/storage
# 存储路径,访问时路径为 M00
# store_path1 则为 M01,以此递增到 M99(如果配置了多个存储目录的话,这里只指定 1 个)
# store_path0 M00
store_path0=/home/fastdfs/storage
# Tracker 服务器 IP 地址和端口,单机搭建时也不要写 127.0.0.1
# tracker_server 可以多次出现,如果有多个,则配置多个
tracker_server=114.215.169.66:22122
# 设置 HTTP 访问文件的端口。这个配置已经不用配置了,配置了也没什么用
# 这也是为何 Storage 服务器需要 Nginx 来提供 HTTP 访问的原因
http.server_port=8888

主要修改:base_path、store_path0、tracker_server。
Tracker 服务器 IP 地址和端口,单机搭建时也不要写 127.0.0.1。
tracker_server 可以多次出现,如果有多个,则配置多个(切记写自己的IP地址)

port如果是云服务器,一定要开放对应的端口。比如腾讯云或阿里云,要在web后台安全组放行端口,不是防火墙后台(注意)。

注意,只有多个磁盘才配置多个路径,因为多个磁盘才可以同时写入和同时读取;一个磁盘多个路径同时只能读取一个路径一个文件;所以设置一个磁盘多个路径是没有意义的。

tracker server是可以配置多个的,因为fastDFS支持tracker server集群。

configure_fastdfs

启动 Tracker 和 Storage 服务

启动服务

# 启动 Tracker 服务
# 其它操作则把 start 改为 stop、restart、reload、status 即可。Storage 服务相同
sudo /etc/init.d/fdfs_trackerd start
# 启动 Storage 服务
sudo /etc/init.d/fdfs_storaged start

提示:

Starting FastDFS tracker server: 

Starting FastDFS storage server: 

查看服务是否正常启动

可以通过对应服务的端口查看服务是否正常启动(如果是云服务器,注意要开放对应端口)。
(1)sudo lsof -i:22122

COMMAND     PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
fdfs_trac 37158 root    5u  IPv4  84121      0t0  TCP *:22122 (LISTEN)
fdfs_trac 37158 root   18u  IPv4  80882      0t0  TCP 192.168.0.104:22122->192.168.0.104:37166 (ESTABLISHED)

(2)sudo lsof -i:23000

COMMAND     PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
fdfs_stor 37171 root    5u  IPv4  84155      0t0  TCP *:23000 (LISTEN)

(3)可以通过 fdfs_monitor 查看集群的情况。

sudo /usr/bin/fdfs_monitor /etc/fdfs/storage.conf

提示:

[2022-11-06 13:56:44] DEBUG - base_path=/home/fastdfs/storage, connect_timeout=5, network_timeout=60, tracker_server_count=1, anti_steal_token=0, anti_steal_secret_key length=0, use_connection_pool=1, g_connection_pool_max_idle_time=3600s, use_storage_id=0, storage server id count: 0

server_count=1, server_index=0

tracker server is 192.168.0.104:22122

group count: 1

Group 1:
group name = group1
disk total space = 99,701 MB
disk free space = 87,732 MB
trunk free space = 0 MB
storage server count = 1
active server count = 1
storage server port = 23000
storage HTTP port = 8888
store path count = 1
subdir count per path = 256
current write server index = 0
current trunk file id = 0

	Storage 1:
		id = 192.168.0.104
		ip_addr = 192.168.0.104  ACTIVE
		http domain = 
		version = 6.07
		join time = 2022-11-06 13:50:11
		up time = 2022-11-06 13:50:11
		total storage = 99,701 MB
		free storage = 87,732 MB
		upload priority = 10
		store_path_count = 1
		subdir_count_per_path = 256
		storage_port = 23000
		storage_http_port = 8888
		current_write_path = 0
		source storage id = 
		if_trunk_server = 0
		connection.alloc_count = 256
		connection.current_count = 0
		connection.max_count = 0
		total_upload_count = 0
		success_upload_count = 0
		total_append_count = 0
		success_append_count = 0
		total_modify_count = 0
		success_modify_count = 0
		total_truncate_count = 0
		success_truncate_count = 0
		total_set_meta_count = 0
		success_set_meta_count = 0
		total_delete_count = 0
		success_delete_count = 0
		total_download_count = 0
		success_download_count = 0
		total_get_meta_count = 0
		success_get_meta_count = 0
		total_create_link_count = 0
		success_create_link_count = 0
		total_delete_link_count = 0
		success_delete_link_count = 0
		total_upload_bytes = 0
		success_upload_bytes = 0
		total_append_bytes = 0
		success_append_bytes = 0
		total_modify_bytes = 0
		success_modify_bytes = 0
		stotal_download_bytes = 0
		success_download_bytes = 0
		total_sync_in_bytes = 0
		success_sync_in_bytes = 0
		total_sync_out_bytes = 0
		success_sync_out_bytes = 0
		total_file_open_count = 0
		success_file_open_count = 0
		total_file_read_count = 0
		success_file_read_count = 0
		total_file_write_count = 0
		success_file_write_count = 0
		last_heart_beat_time = 2022-11-06 13:56:15
		last_source_update = 1970-01-01 08:00:00
		last_sync_update = 1970-01-01 08:00:00
		last_synced_timestamp = 1970-01-01 08:00:00 

PS:
可以去查看/etc/init.d/fdfs_trackerd文件, fdfs_trackerd的实际执行程序为:/usr/bin/fdfs_trackerd,配置文件为:/etc/fdfs/tracker.conf。
这样后续也可以单台机器通过修改端口的方式去启动多个tracker、storage。

查看日志的方式

tracker:

sudo tail -f /home/fastdfs/tracker/logs/trackerd.log

storage:

sudo tail -f /home/fastdfs/storage/logs/storaged.log

其他服务命令

tracker:

# 启动:
sudo /etc/init.d/fdfs_trackerd start
# 停止:
sudo /etc/init.d/fdfs_trackerd stop
# 重启 :
sudo /etc/init.d/fdfs_trackerd restart

storage:

# 启动:
sudo /etc/init.d/fdfs_storaged start
# 停止:
sudo /etc/init.d/fdfs_storaged stop 
# 重启 :
sudo /etc/init.d/fdfs_storaged restart

测试上传文件

# 修改 Tracker 服务器客户端配置文件
sudo mkdir -p /home/fastdfs/client
sudo cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
sudo vim /etc/fdfs/client.conf

client.conf 中修改 base_path 和 Tracker 服务器的 IP 地址与端口号即可,主要修改base_path和tracker_server。

# 存储日志文件的基本路径
base_path=/home/fastdfs/client
# Tracker 服务器 IP 地址与端口号
tracker_server=114.215.169.66:22122

格式:

/usr/bin/fdfs_upload_file 配置文件 要上传的文件

示例:

sudo /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /etc/fdfs/client.conf.sample 

结果:

group1/M00/00/00/wKgAaGNnUJSAR4QWAAAHdTVMtgU.sample

当返回文件 ID 号,如 :group1/M00/00/00/wKgAaGNnUJSAR4QWAAAHdTVMtgU.sample 则表示上传成功。
如果报错:tracker_query_storage fail, error no: 2, error info: No such file or directory,一般都是因
为路径没有设置对。可以使用如下命令查看日志:

tail -f /home/fastdfs/storage/logs/storaged.log

测试下载文件

在client所在的机器完成下载、删除测试。
(1)下载:
格式:

/usr/bin/fdfs_download_file 配置文件 要下载的文件

示例:

sudo /usr/bin/fdfs_download_file /etc/fdfs/client.conf group1/M00/00/00/wKgAaGNnUJSAR4QWAAAHdTVMtgU.sample

结果:

# ls
wKgAaGNnUJSAR4QWAAAHdTVMtgU.sample

(2)删除:
格式:

/usr/bin/fdfs_delete_file 配置文件 文件名

示例:

sudo /usr/bin/fdfs_delete_file /etc/fdfs/client.conf group1/M00/00/00/wKgAaGNnUJSAR4QWAAAHdTVMtgU.sample

查看文件是否已经被删除可以进去/home/fastdfs/storage/data/00/00路径查看刚才的文件是否被删除。

小结

以上则完成了 FastDFS 的安装与配置,可以使用 api 来完成文件的上传、同步和下载。
当然,接下来还会安装 Nginx。目的如下:
(1)Storage 安装 Nginx,为了提供 http 的访问和下载服务,同时解决 group 中 Storage 服务器的同
步延迟问题。
(2)Tracker 安装 Nginx,主要是为了提供 http 访问的反向代理、负载均衡以及缓存服务。
在这里插入图片描述

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Lion Long

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值