分布式文件系统—FastDFS

目录

1. 场景概述

1.1 什么是文件系统

1.2 分布式文件系统

1.3 主流的分布式文件系统

1.3.1 HDFS

1.3.2 GFS

1.3.3.FastDFS

1.4 工作原理

1.5 上传/下载 原理

2. FastDFS的上传与下载

2.1 安装

2.2 配置

2.3 启动服务

2.4 搭建 Java工程

2.4.1 pom.xml

2.4.2 创建配置文件

2.4.3 文件上传

2.4.4 文件查询

2.4.5 文件下载

3. 项目实战

3.1 搭建图片服务器

3.1.1 Nginx模块安装 （Storage）

3.1.2 Nginx安装 （Tracker）

3.2 创建前端页面

3.3 搭建web服务

3.4 典型错误

---

1. 场景概述

天猫，淘宝等购物网站，大量的图片和视频，文件太多，如何存储？
用户访问量大又如何保证下载速度？分布式文件系统就是解决这些问题的！

1.1 什么是文件系统

文件数据是如何存储的？？

1.2 分布式文件系统

一台电脑存储量有限，并且并发吞吐量也有限，如何提高性能？

分布式：不同的业务模块部署在不同的服务器上或者同一个业务模块分拆多个子业务，部署不同的服务器上。解决高并发的问题；
集群：同一个业务部署在多台服务器上，提高系统的高可用。

1.3 主流的分布式文件系统

1.3.1 HDFS

(Hadoop Distributed File System)Hadoop 分布式文件系统；

• 高容错的系统，适合部署到廉价的机器上；
• 能提供高吞吐量的数据访问，非常适合大规模数据应用；
• HDFS采用主从结构，一个HDFS是由一个name节点和N个data节点组成；
• name节点储存元数据，一个文件分割成N份存储在不同的data节点上。

1.3.2 GFS

Google File System

• 可扩展的分布式文件系统，用于大型的，分布式的，对大量数据进行访问的应用；
• 运行于廉价的普通硬件上，可以提供容错功能；
• 它可以给大量的用户提供总体性能较高的服务；
• GFS采用主从结构，一个GFS集群由一个master和大量的chunkserver（分块服务器）组成；
• 一个文件被分割若干块，分散储存到多个分块server中。

1.3.3.FastDFS

• 专为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能
  等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务；
• HDFS，GFS等都是通用的文件系统，他们的优点是开发体验好，但是系统的复杂度较高，性能也
  一般；
• 相比之下，专用的分布式文件系统体验差，但是复杂度低，性能也高，尤其fastDFS特别适合图
  片，小视频等小文件，因为fastDFS对文件是不分割的，所以没有文件合并的开销；
• 网络通信用socket，速度快。

也就是说，小文件用FastDFS（像小视频、图片），大文件用HDFS（像电影等）。

1.4 工作原理

• fastDFS包含Tracker Server和Storage Server；
• 客户端请求Tracker Server进行文件的上传与下载；

• Tracker Server调度Storage Server最终完成上传与下载。

   

  

• Tracker （译：追踪者）
  -- 作用是负载均衡和调度，它管理着存储服务（Storage Server），可以理解为：“大管家，追踪者，调度员”； Tracker Server可以集群，实现高可用，策略为“轮询”。
• Storage （译：仓库; 贮存器）
  -- 作用是文件存储，客户端上传的文件最终存储到storage服务器上；
  -- storage集群采用分组的方式，同组内的每台服务器是平等关系，数据同步，目的是实现数 据备份，从而高可用，而不同组的服务器之间是不通信的；
  -- 同组内的每台服务器的存储量不一致的情况下，会选取容量最小的那个，所以同组内的服务
  器之间软硬件最好保持一致。
  -- Storage Server会连接集群中的所有Tracker Server，定时向他们汇报自己的状态，例如：剩余空间，文件同步情况，文件上传下载次数等信息。

1.5 上传/下载 原理

• 客户端上传文件后，storage会将文件id返回给客户端。
• group1/M00/02/11/aJxAeF21O5wAAAAAAAAGaEIOA12345.sh
  -- 组名：文件上传后，在storage组的名称，文件上传成功后，由storage返回，需要客户端自
  行保存。
  -- 虚拟磁盘路径：
  storage配置的虚拟路径，在磁盘选项storage_path对应。
  storage_path0对应M00，
  storage_path1对应M01，
  -- 数据两级目录：
  storage在虚拟磁盘下自行创建的目录。
  -- 文件名：
  与上传时不同，是用storage根据特定信息生成的，里面包含：storage服务器的ip，创建时
  间戳，大小，后缀名等信息

---

2. FastDFS的上传与下载

2.1 安装

2.1.1 安装gcc（编译时需要）

yum install -y gcc gcc-c++

2.1.2 安装libevent（运行时需求）

yum -y install libevent

2.1.3 安装 libfastcommon

libfastcommon是FastDFS官方提供的，libfastcommon包含了FastDFS运行所需要的一些基础库。

1. 上传 libfastcommon-master.zip 到 /opt

#安装解压zip包的命令: 
yum install -y unzip 
#解压包: 
unzip libfastcommon.zip 
#进入目录: 
cd libfastcommon-master

 2. 编译

./make.sh

如果：make.sh的权限不够，则需要授权（可执行的权利）

chmod 777 make.sh

 3. 安装

./make.sh install

libfastcommon安装好后会在/usr/lib64 目录下生成 libfastcommon.so 库文件

4. 拷贝库文件

cd /usr/lib64
cp libfastcommon.so /usr/lib

2.1.4 安装Tracker

下载 FastDFS_v5.05.tar.gz，并上传到 /opt

tar -zxvf FastDFS_v5.05.tar.gz 
cd FastDFS 
./make.sh 
./make.sh install
</