linux搭建分布式文件系统FastDFS并整合spring boot

linux搭建分布式文件系统FastDFS并整合spring boot

目录

• FastDFS是什么
• FastDFS安装
• spring boot集成FastDFS上传下载文件
• FastDFS配置nginx
• 问题&注意事项

FastDFS是什么：

是由C语言实现的开源轻量级分布式文件系统，实现了对文件管理，同步，访问，下载等功能，解决了大容量存储和负载均衡。其包含两个角色：Tracker（跟踪器）和Storage（存储节点）

• Tracker：资源调度，负载均衡，管理所有的group和storage，每一个storage启动就会链接Tracker

• Storage：存储节点，提供存储和备份服务，以group为单位，每组可以有多台Storage，数据互相备份。

  官网架构图：
  

  

FastDFS安装

多台服务器都需要安装FastDFS，为了方便测试单机安装也可以，配置相差不多。本次环境centos，如果安装过程中出现问题翻到最后查看注意事项可能会找到解决方法。

• 下载安装libfastcommon：

  cd /opt/fastdfs
  
  wget https://github.com/happyfish100/libfastcommon/archive/V1.0.7.tar.gz
  
  tar -zxvf V1.0.7.tar.gz
  
  cd libfastcommon-1.0.7
  
  ./make.sh
  
  //安装：
  ./make.sh install
  
  //设置软连接:
  ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
  ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
  ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
  ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so
  

• 下载安装FastDFS，每台文件服务器都需要安装：

  wget https://github.com/happyfish100/fastdfs/archive/V5.05.tar.gz
  
  tar -zxvf V5.05.tar.gz
  
  cd fastdfs-5.05
  
  ./make.sh
  
  ./make.sh install
  

  安装成功后会在/etc/fdfs 目录下生成三个示例配置文件

• 配置Tracker服务器

  cp tracker.conf.sample tracker.conf
  
  //创建文件夹留后用
  mkdir -p /data/fastdfs/tracker
  
  vim tracker.conf
  

  编辑tracker.conf配置文件，修改：

  # the base path to store data and log files
  base_path=/data/fastdfs/tracker     
  
  http.server_port=8055
  

  保存退出，启动tracker服务：

  fdfs_trackerd /etc/fdfs/tracker.conf start
  

  启动成功，查看监听服务：

  netstat -unltp|grep fdfs
  

  可以看到tracker默认端口为22122，并且在/data/fastdfs/tracker文件夹下新增数据和日志存储文件。

• 配置Storage服务器：

  cd /etc/fdfs
  
  cp storage.conf.sample storage.conf
  
  mkdir -p /data/fastdfs/storage
  
  vim storage.conf
  

  修改storage.conf配置文件：

  # the base path to store data and log files
  base_path=/data/fastdfs/storage
  
  # store_path#, based 0, if store_path0 not exists, it's value is base_path
  # the paths must be exist
  store_path0=/data/fastdfs/storage
  
  # tracker_server can ocur more than once, and tracker_server format is
  #  "host:port", host can be hostname or ip address
  #配置tracker跟踪器ip端口
  tracker_server=192.168.5.26:22122
  

  保存退出，并启动Storage：

  fdfs_storaged /etc/fdfs/storage.conf start
  

  如果启动过慢或卡死，查看日志文件：

  /data/fastdfs/storage/logs
  

  查看端口监听，发现Storage默认端口号为23000

  netstat -unltp|grep fdfs
  

  所有节点都安装成功后可以在任意一个节点查看集群的状态：

  /usr/bin/fdfs_monitor /etc/fdfs/s