分布式技术之分布式文件系统

为什么要使用分布式文件系统

1. 海量文件数据存储

2. 文件数据高可用(冗余备份)

3. 读写性能和负载均衡

什么是FastDFS

FastDFS 是一个开源的高性能分布式文件系统（DFS）。 它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务。

FastDFS 系统有三个角色：跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)。

• Tracker Server：跟踪服务器，主要做调度工作，起到均衡的作用；负责管理所有的 storage server和 group，每个 storage 在启动后会连接 Tracker，告知自己所属 group 等信息，并保持周期性心跳。
• Storage Server：存储服务器，主要提供容量和备份服务；以 group 为单位，每个 group 内可以有多台 storage server，数据互为备份。
• Client：客户端，上传下载数据的服务器，也就是我们自己的项目所部署在的服务器。

配置FastDFS

• 参考文献

https://github.com/happyfish100/
https://github.com/happyfish100/fastdfs/wiki
https://www.cnblogs.com/leechenxiang/p/5406548.html
https://www.cnblogs.com/leechenxiang/p/7089778.html

• 环境准备

Centos7.x 两台，分别安装tracker与storage
下载安装包：
libfatscommon：FastDFS分离出的一些公用函数包
FastDFS：FastDFS本体
fastdfs-nginx-module：FastDFS和nginx的关联模块
nginx：发布访问服务

• 安装步骤 (tracker与storage都要执行)

安装基础环境
yum install -y gcc gcc-c++
yum -y install libevent
安装libfatscommon函数库
# 解压
tar -zxvf libfastcommon-1.0.42.tar.gz
进入libfastcommon文件夹，编译并且安装
./make.sh
./make.sh install
安装的目录从控制台看一下：
安装fastdfs主程序文件
# 解压
tar -zxvf fastdfs-6.04.tar.gz
进入到fastdfs目录，查看fastdfs安装配置
cd fastdfs-6.04/
vim make.sh
TARGET_PREFIX=$DESTDIR/usr
TARGET_CONF_PATH=$DESTDIR/etc/fdfs
TARGET_INIT_PATH=$DESTDIR/etc/init.d
安装fastdfs
./make.sh
./make.sh install


配置tracker服务
tracker和storage都是同一个fastdfs的主程序的两个不同概念，配置不同的配置文件就可以设定为tracker或者storage

配置tracker
/etc/fdfs 下都是一些配置文件，配置tracker即可
vim tracker.conf

修改tracker配置文件，此为tracker的工作目录，保存数据以及日志
base_path=/usr/local/fastdfs/tracker
mkdir /usr/local/fastdfs/tracker -p

启动tracker服务
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf

检查进程如下：
ps -ef|grep tracker

停止tracker
/usr/bin/stop.sh /etc/fdfs/tracker.conf


配置storage服务

修改该storage.cond配置文件

# 修改组名
group_name=imooc
# 修改storage的工作空间
base_path=/usr/local/fastdfs/storage
# 修改storage的存储空间
store_path0=/usr/local/fastdfs/storage
# 修改tracker的地址和端口号，用于心跳
tracker_server=192.168.1.153:22122
# 后续结合nginx的一个对外服务端口号
http.server_port=8888
创建目录
mkdir /usr/local/fastdfs/storage -p
启动storage
前提：必须首先启动tracker
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf
检查进程如下：
ps -ef|grep storage

测试上传
修改的client配置文件



配置 nginx fastdfs 实现文件服务器

fastdfs安装好以后是无法通过http访问的，这个时候就需要借助nginx了，所以需要安装fastdfs的第三方模块到nginx中，就能使用了。
注：nginx需要和storage在同一个节点。

安装nginx插件
解压nginx的fastdfs压缩包
tar -zxvf fastdfs-nginx-module-1.22.tar.gz
复制配置文件如下：
cp mod_fastdfs.conf /etc/fdfs

修改/fastdfs-nginx-module/src/config文件，主要是修改路径，把 local 删除，因为fastdfs安装的时候我们没有修改路径，原路径是 没有local

OSS云存储