FastDFS(分布式文件系统)高可用集群

原创 2017年11月13日 20:16:12

1、环境介绍:虚拟机A(tracker服务1 + nginx负载均衡 + keepalived双活)

                          虚拟机B(tracker服务2 + nginx负载均衡 + keepalived双活)

                         虚拟机C(storage服务1 + nginx  http服务)

                         虚拟机D(storage服务2 + nginx  http服务)

                        虚拟机E(storage服务3 + nginx  http服务)

                        虚拟机F(storage服务4 + nginx  http服务)


2、搭建FastDFS集群:将需要的安装包都拷贝到/usr/local/software文件夹

                                         给虚拟机A和虚拟机B安装tracker服务(安装前置环境、安装libfastcommon-master、安装FastDFS-tracker)

                                        给虚拟机C、D、E、F分别安装storage服务(差异、查看启动日志)

                                       给虚拟机C、D、E、F分别安装nginx提供HTTP服务(安装nginx插件fastdfs-nginx-module、安装nginx)


3、安装分布式文件系统客户端FastDFS-client(任选一台tracker服务器搭建client)


注释:安装前置环境 - (1)     安装libfastcommon-master - (2)       安装FastDFS-tracker - (3)    

          差异 -   (4)             查看启动日志 -  (5)

         安装nginx插件fastdfs-nginx-module -  (6)             安装nginx -  (7)       

        任选一台tracker服务器搭建client - (8)

(1)(安装前置环境)安装gcc     命令是:yum -y install gcc-c++           安装libevent,命令是:yum -y install libevent           

        。

(2)(安装libfastcommon-master )解压:[root@localhost software]#   tar -zxf libfastcommonV1.0.7.tar.gz           编译:命令:./make.sh       安装:命令:./make.sh instal

          创建软链接:命令:ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommom.so     

      。

(3)(安装FastDFS-tracker)解压:tar -zxf FastDFS_v5.05.tar,gz        编译:命令:先进入安装路径,cd FastDFS  ,再进行编译:./make.sh      安装:命令:./make.sh install

          将安装目录下的conf下的文件拷贝到/etc/fdfs下:cd FastDFS     、    cd conf     、   cp  *  /etc/fdfs        修改服务启动文件:vim  /etc/init.d/fdfs_trackerd

          执行命令,将local/  替换成空    命令::%s/local\///g     也可以手动把local删掉         修改tracker配置文件:  vim  /etc/fdfs/tracker.conf

         修改的内容:base_path=/usr/local/software/FastDFS/tracker        store_lookup=0       看不懂可以看接下来的代码:

 # the base path to store data and log files
base_path=/usr/local/software/FastDFS/tracker

# the method of selecting group to upload files
# 0: round robin
# 1: specify group
# 2: load balance, select the max free space group to upload file
#0 - 轮询 1 - 指定组 2 - 负载均衡, 设置为0便于测试,工作环境应该设置为2
store_lookup=0
      设置防火墙,把22122端口设置进白名单。   vim  /etc/sysconfig/iptables      加入:-A  INPUT  -m  state  --STATE  NEW  -m  tcp  -p  tcp  --dport  22122 -j  ACCEPT
    重启防火墙:service  iptables  restart                  启动tracker服务:service  fdfs_trackerd start
         。

(4)(差异)修改服务启动文件:vim  /etc/init.d/fdfs_storaged   执行命令,将local/  替换成空    命令::%s/local\///g     也可以手动把local删掉 

 修改storage配置文件:
[root@localhost fdfs]# vim /etcfs/storage.conf

修改的内容:
#指定该storage所在的组名,另外E、F两个虚拟机应该设置为group2组
group_name=group1

# the base path to store data and log files
base_path=/usr/local/software/FastDFS/storage

# the paths must be exist
store_path0=/usr/local/software/FastDFS/storage

# tracker_server can ocur more than once, and tracker_server format is
#  "host:port", host can be hostname or ip address
tracker_server=192.168.101.137:22122 

tracker_server=192.168.101.138:22122 

 设置防火墙:
vim /etc/sysconfig/
加入:
-A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT
重启防火墙:
service iptables restart

(5)(查看启动日志)/usr/local/software/FastDFS/storage/logs/storaged.log

(6)(安装nginx插件fastdfs-nginx-module)  解压:tar  -zxf  fastdfs-nginx-module_v1.16.tar.gz     修改配置文件: cd  /usr/local/software/fastdfs-nginx-module/src 

          vim  config      执行命令,将local/  替换成空    命令::%s/local\///g     也可以手动把local删掉       复制配置文件:cp    mod_fastdfs.conf     /etc/fdfs   

 

 修改配置文件:
tracker_server=192.168.101.137:22122 

tracker_server=192.168.101.138:22122 


# 设置组名称,默认为group1,第二组的服务需要设置为group2
group_name=group1

#显示组名称
url_have_group_name=true

#
store_path0=/usr/local/software/FastDFS/storage

# 设置组的数量
group_count = 2

#添加组信息
[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/usr/local/software/FastDFS/storage

[group2]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/usr/local/software/FastDFS/storage

(7)(安装nginx) 前置环境:安装gcc,命令:yum  install -y gcc-c++          安装pcre,命令:yum install -y pcre pcre-devel

                                                       安装zlib,命令:yum install -y zlib zlib-devel     安装openssl,命令:yum install -y openssl openssl-devel

      安装nginx:安装包拷贝,将安装包放在/usr/local路径下。  解压:tar -zxf nginx-1.8.1.tar.gz    进入安装目录:cd nginx-1.8.1

                          创建软链接:ln -s /usr/lib64/libfdfsclient.so   /usr/lib/libfdfsclient.so                  

                          配置:./configure   --add-module=/usr/local/software/fastdfs-nginx-module/src

                          编译:make            安装:make  install

  配置nginx:vim   /usr/local/nginx/conf/nginx.conf                         

                       添加如下配置:
                         location ~/group([0-9])/M00 {
                                         ngx_fastdfs_module;
                         }
  启动nginx:cd  /usr/local/nginx /sbin                执行命令:./nginx
查看进程:   ps -aux | grep nginx
                        root     12100  0.0  0.0   5340   640 ?        Ss   12:11   0:00 nginx: master process .inx
                        nobody   12101  0.0  0.0   5544   992 ?        S    12:11   0:00 nginx: worker process
停止/重启nginx服务:重启:./nginx  -s  reload                停止:./nginx     -s    stop

(8)(任选一台tracker服务器搭建client )  修改配置文件:vim  /etc/fdfs/client.conf

base_path=/usr/local/software/FastDFS/tracker

tracker_server=192.168.233.132:22122

tracker_server=192.168.233.133:22122

分布式架构高可用架构篇_05_fastdfs集群的安装

fastdfs集群的安装测试
  • hardworking0323
  • hardworking0323
  • 2016年04月21日 23:19
  • 1029

手把手教你搭建FastDFS集群(上)

FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相...
  • u012453843
  • u012453843
  • 2017年04月03日 23:17
  • 6362

分布式文件系统FastDFS如何做到高可用

FastDFS是用C语言编写的一款开源的轻量级分布式文件系统。它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的...
  • uxiAD7442KMy1X86DtM3
  • uxiAD7442KMy1X86DtM3
  • 2018年01月20日 00:00
  • 26

FastDFS海量数据分布式存储方案

http://sourceforge.net/projects/fastdfs/files/
  • kongdeqian1988
  • kongdeqian1988
  • 2014年07月05日 00:07
  • 9942

FastDFS 小文件优化策略

FastDFS是一个应用级分布式文件存储服务,其采用中心型结构(类似GFS、HDFS、TFS等),主要用于大中型网站存储资源文件。FastDFS具有轻量级,支持高并发放访问,负载均衡,可扩展等优点。而...
  • sinat_27186785
  • sinat_27186785
  • 2016年07月24日 01:52
  • 1596

浅析FastDFS及所遇问题集锦

FastDFS是为互联网应用量身定做的一套分布式文件存储系统,非常适合用来存储用户图片、视频、文档等文件。对于互联网应用,和其他分布式文件系统相比,优势非常明显。但是在使用过程中,也会遇到一些问题,一...
  • u012979009
  • u012979009
  • 2016年03月03日 15:14
  • 2258

高并发解决方案

java系统高并发解决方案(转载)   转载博客地址:http://blog.csdn.NET/zxl333/article/details/8454319 转载博客地址:http:/...
  • fmm_sunshine
  • fmm_sunshine
  • 2017年09月04日 22:45
  • 135

FastDFS之集群部署

FastDFS是一个开源的轻量级分布式文件系统,由跟踪服务器(tracker server)、存储服务器(storage server)和客户端(client)三个部分组成,主要解决了海量数据存储问题...
  • tianwei7518
  • tianwei7518
  • 2015年05月28日 14:01
  • 10695

手把手教你搭建FastDFS集群(下)

由于博客图片量大,篇幅太长,因此需要分上、中、下三篇博客来写,上篇和中篇我们已经一起学习完了,这篇博客我们一起学习下剩余部分。 一、配置反向代理        我们需要在两个跟踪器上安装nginx(也...
  • u012453843
  • u012453843
  • 2017年04月04日 23:42
  • 3550

手把手教你搭建FastDFS集群(中)

上一篇博客,我们一起搭建了storage和tracker集群,FastDFS集群还未搭建完毕,不过由于篇幅过长,因此需要分成两篇来写。 一、tracker和storage集群上传图片测试       ...
  • u012453843
  • u012453843
  • 2017年04月04日 16:38
  • 2417
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:FastDFS(分布式文件系统)高可用集群
举报原因:
原因补充:

(最多只允许输入30个字)