【FastDFS】面试官:如何实现文件的大规模分布式存储?(全程实战)

(1)解压fastdfs

[root@localhost source]# tar -zxvf V6.06.tar.gz

(2)安装fastdfs

[root@localhost source]# cd fastdfs-6.06/

[root@localhost fastdfs-6.06]# ./make.sh && ./make.sh install

(3)检查fastdfs是否安装成功

[root@localhost fastdfs-6.06]# ls /usr/bin|grep fdfs

fdfs_appender_test

fdfs_appender_test1

fdfs_append_file

fdfs_crc32

fdfs_delete_file

fdfs_download_file

fdfs_file_info

fdfs_monitor

fdfs_regenerate_filename

fdfs_storaged

fdfs_test

fdfs_test1

fdfs_trackerd

fdfs_upload_appender

fdfs_upload_file

安装部署tracker服务


复制tracker的配置文件

在两台tracker服务器上,依次执行如下命令。

[root@localhost fastdfs-6.06]# cd /etc/fdfs/

[root@localhost fdfs]# cp client.conf.sample client.conf

[root@localhost fdfs]# cp tracker.conf.sample tracker.conf

注意:无须生成storage.conf文件,这两台tracker不做为storage。

安装Nginx

在两台tracker服务器上,依次执行如下命令。

注意:tracker上不需要安装fastdfs-nginx-module

(1)解压Nginx

[root@localhost source]# tar -zxvf nginx-1.17.8.tar.gz

(2)nginx配置,http_stub_status_module 模块

[root@localhost fdfs]# cd /usr/local/source/nginx-1.17.8/

[root@localhost nginx-1.17.8]# ./configure --prefix=/usr/local/soft/nginx --with-http_stub_status_module

(3)编译安装Nginx

[root@localhost nginx-1.17.8]# make && make install

(4)检查安装是否成功

[root@localhost nginx-1.17.8]# ls /usr/local/soft/ | grep nginx

nginx

(5)查看指定的编译参数是否起作用

[root@localhost fdfs]# /usr/local/soft/nginx/sbin/nginx -V

nginx version: nginx/1.17.8

built by gcc 8.3.1 20190507 (Red Hat 8.3.1-4) (GCC)

configure arguments: --prefix=/usr/local/soft/nginx --with-http_stub_status_module

配置并启动FastDFS

在两台tracker上,配置并启动FastDFS。

(1)创建tracker服务所需的目录

[root@localhost fdfs]# mkdir /data/fastdfs

[root@localhost fdfs]# mkdir /data/fastdfs/tracker

[root@localhost fdfs]# chmod 777 /data/fastdfs/tracker

(2)配置tracker服务,修改 tracker.conf 文件

[root@localhost fdfs]# vi /etc/fdfs/tracker.conf

只修改base_path一项的值为我们在上面所创建的目录即可

base_path = /data/fastdfs/tracker

(3)启动 tracker 服务

[root@localhost fdfs]# /etc/init.d/fdfs_trackerd start

(4)检查tracker服务启动是否成功

[root@localhost fdfs]# ps auxfww | grep fdfs

root 15067 0.0 0.0 12320 964 pts/0 S+ 15:14 0:00 | | _ grep --color=auto fdfs

root 15026 0.0 0.1 90160 5940 ? Sl 15:13 0:00 /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf

说明:能看到 fdfs_trackerd,表示tracker服务启动成功。

(5)检查tracker服务是否已绑定端口 22122

[root@localhost dest]# netstat -anp | grep 22122

tcp 0 0 0.0.0.0:22122 0.0.0.0:* LISTEN 15026/fdfs_trackerd

说明: 22122端口是在/etc/fdfs/tracker.conf中定义的,如下所示:

the tracker server port

port = 22122

配置client.conf

两台tracker上,配置client.conf,配置fastdfs的客户端使用的配置文件。

(1)配置client.conf

[root@localhost fdfs]# vi /etc/fdfs/client.conf

以下两项配置用到的tracker目录和服务器地址端口

base_path = /data/fastdfs/tracker

tracker_server = 192.168.175.101:22122

tracker_server = 192.168.175.102:22122

说明:两台tracker上的client.conf配置相同

(2)从客户端的配置可以看到:客户端只需要了解tracker_server的信息。tracker server作用也正是负载均衡和调度

(3)Storage server作用是文件存储,客户端上传的文件最终存储在 Storage 服务上

测试文件

用client.conf上传文件测试。

(1)从tacker上传一个文件

[root@0268c2dc2bf6 ~]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /root/a.txt group1/M00/00/00/rBEABF5aTEeAXHF4AAAABHf4XZU792.txt

注意返回的是group1,我们可以group1下面的两台机器均找到此txt文件:

  • storage1上

[root@d5d19e99e782 docker_tmp]# ls /data/fastdfs/storage/data/00/00

rBEABF5aTEeAXHF4AAAABHf4XZU792.txt

  • storage2上

[root@f201111d0698 docker_tmp]# ls /data/fastdfs/storage/data/00/00

rBEABF5aTEeAXHF4AAAABHf4XZU792.txt

(2)指定group上传文件

如果想指定上传到某个group怎么办?例如:指定上传到group2

[root@0268c2dc2bf6 ~]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /root/a.txt 192.168.175.105:23000

group2/M00/00/00/rBEABl5aUAqAXLCZAAAABHf4XZU043.txt

说明:指定group2中任一台的ip和端口即可。

(3)查看效果

  • storage3上

[root@494ac47d63f8 fdfs]# ls /data/fastdfs/storage/data/00/00

rBEABl5aUAqAXLCZAAAABHf4XZU043.txt

  • storage4上

[root@59fa1efff362 fdfs]# ls /data/fastdfs/storage/data/00/00

rBEABl5aUAqAXLCZAAAABHf4XZU043.txt

安装部署storage服务


生成默认配置文件

四台storage上:生成启动fastdfs默认的配置文件。

[root@localhost fastdfs-6.06]# cd /etc/fdfs/

[root@localhost fdfs]# cp storage.conf.sample storage.conf

[root@localhost fdfs]# cp client.conf.sample client.conf

说明:不需要生成tracker.conf,因为storage上不再运行tracker服务

安装Nginx

四台storage上:安装nginx及fastdfs-nginx-module

(1)解压nginx

[root@localhost source]# tar -zxvf nginx-1.17.8.tar.gz

(2)解压fastdfs-nginx-module

[root@localhost source]# tar -zxvf V1.22.tar.gz

(3)修改config文件,把/usr/local 替换成 /usr

[root@localhost source]# cd fastdfs-nginx-module-1.22/

[root@localhost fastdfs-nginx-module-1.22]# cd src

[root@localhost src]# vi config

(4)Nginx配置,添加fastdfs-nginx-module和http_stub_status_module 模块

[root@localhost fdfs]# cd /usr/local/source/nginx-1.17.8/

[root@localhost nginx-1.17.8]# ./configure --prefix=/usr/local/soft/nginx --with-http_stub_status_module --add-module=/usr/local/source/fastdfs-nginx-module-1.22/src/

(5)编译安装nginx

[root@localhost nginx-1.17.8]# make && make install

(6)检查安装是否成功

[root@localhost nginx-1.17.8]# ls /usr/local/soft/ | grep nginx

nginx

(7)查看指定的编译参数是否起作用

[root@localhost fdfs]# /usr/local/soft/nginx/sbin/nginx -V

nginx version: nginx/1.17.8

built by gcc 8.3.1 20190507 (Red Hat 8.3.1-4) (GCC)

configure arguments: --prefix=/usr/local/soft/nginx --with-http_stub_status_module --add-module=/usr/local/source/fastdfs-nginx-module-1.22/src/

配置并启动storage服务

四台storage上:配置并启动storage服务

(1)创建storage服务所需的目录

[root@localhost fdfs]# mkdir /data/fastdfs/storage

[root@localhost fdfs]# chmod 777 /data/fastdfs/storage/

(2)配置storage服务

编辑storage的配置文件:

[root@localhost fdfs]# vi /etc/fdfs/storage.conf

各配置项包括:

group_name = group1

#配置base_path为上面所创建的storage目录

base_path = /data/fastdfs/storage

#store_path :存储所在的目录,可以设置多个,注意从0开始

store_path0 = /data/fastdfs/storage

#tracker_server的ip和端口

tracker_server = 192.168.175.101:22122

tracker_server = 192.168.175.102:22122

#指定http服务的端口

http.server_port = 80

配置的不同之处:

192.168.175.103 group_name = group1

192.168.175.104 group_name = group1

192.168.175.105 group_name = group2

192.168.175.106 group_name = group2

(3)启动storage服务

[root@localhost fdfs]# /etc/init.d/fdfs_storaged start

正在启动 fdfs_storaged (via systemctl): [ 确定 ]

(4)检查storage服务启动是否成功

[root@localhost fdfs]# ps auxfww | grep fdfs

root 15630 0.0 0.0 12320 972 pts/0 S+ 15:46 0:00 | | _ grep --color=auto fdfs

root 15026 0.0 0.1 155696 6964 ? Sl 15:13 0:00 /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf

root 15573 2.7 1.7 150736 66292 ? Sl 15:45 0:02 /usr/bin/fdfs_storaged /etc/fdfs/storage.conf

说明:看到fdfs_storaged,表示storage服务启动成功

(5)检查storage服务是否已绑定到端口:23000

[root@localhost fdfs]# netstat -anp | grep 23000

tcp 0 0 0.0.0.0:23000 0.0.0.0:* LISTEN 15573/fdfs_storaged

说明:23000 端口是在配置文件 /etc/fdfs/storage.conf中定义的,如下:

the storage server port

port = 23000

配置fastdfs-nginx-module

四台存储服务器上:配置fastdfs-nginx-module

(1)生成配置文件

[root@localhost nginx-1.17.8]# cp /usr/local/source/fastdfs-nginx-module-1.22/src/mod_fastdfs.conf /etc/fdfs/

(2)编辑配置文件

[root@localhost nginx-1.17.8]# vi /etc/fdfs/mod_fastdfs.conf

配置以下几项

group_name=group1

connect_timeout=10

tracker_server=192.168.175.101:22122

tracker_server=192.168.175.102:22122

url_have_group_name = true

store_path0=/data/fastdfs/storage

group_count = 2

[group1]

group_name=group1

storage_server_port=23000

store_path_count=1

store_path0=/data/fastdfs/storage

[group2]

group_name=group2

storage_server_port=23000

store_path_count=1

store_path0=/data/fastdfs/storage

说明: 最上面的group_name:当机器属于group1这组时,值为group1;当机器属于group2这组时,值为group2。

说明:url_have_group_name = true。 注意:这一项不要漏掉,会导至nginx不正常工作

(3)复制另两个web访问用到配置文件到fdfs配置目录下:

[root@d5d19e99e782 /]# cp /usr/local/source/fastdfs-6.06/conf/http.conf /etc/fdfs/

[root@d5d19e99e782 /]# cp /usr/local/source/fastdfs-6.06/conf/mime.types /etc/fdfs/

配置Nginx

四台存储服务器上:配置nginx

最后

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数Java工程师,想要提升技能,往往是自己摸索成长,自己不成体系的自学效果低效漫长且无助。

因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,不论你是刚入门Android开发的新手,还是希望在技术上不断提升的资深开发者,这些资料都将为你打开新的学习之门!

如果你觉得这些内容对你有帮助,需要这份全套学习资料的朋友可以戳我获取!!

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!
roup_name = true。 注意:这一项不要漏掉,会导至nginx不正常工作

(3)复制另两个web访问用到配置文件到fdfs配置目录下:

[root@d5d19e99e782 /]# cp /usr/local/source/fastdfs-6.06/conf/http.conf /etc/fdfs/

[root@d5d19e99e782 /]# cp /usr/local/source/fastdfs-6.06/conf/mime.types /etc/fdfs/

配置Nginx

四台存储服务器上:配置nginx

最后

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数Java工程师,想要提升技能,往往是自己摸索成长,自己不成体系的自学效果低效漫长且无助。

因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。

[外链图片转存中…(img-TMkcb1mi-1715138369867)]

[外链图片转存中…(img-M8nmztX3-1715138369867)]

[外链图片转存中…(img-6fzapwWk-1715138369867)]

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,不论你是刚入门Android开发的新手,还是希望在技术上不断提升的资深开发者,这些资料都将为你打开新的学习之门!

如果你觉得这些内容对你有帮助,需要这份全套学习资料的朋友可以戳我获取!!

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值