FastDFS

最新推荐文章于 2024-05-13 04:11:53 发布

我要成为罗宾姐姐

最新推荐文章于 2024-05-13 04:11:53 发布

阅读量357

点赞数

分类专栏：配置&工具文章标签： fastdfs java nginx

原文链接：https://edu.lagou.com/

版权

配置&工具专栏收录该内容

9 篇文章 0 订阅

订阅专栏

1. 场景概述

天猫，淘宝等购物网站，大量的图片和视频，文件太多，如何存储？
用户访问量大又如何保证下载速度？分布式文件系统就是解决这些问题的！

1.1 什么是文件系统

文件数据是如何存储的？

在这里插入图片描述

1.2 分布式文件系统

一台电脑存储量有限，并且并发吞吐量也有限，如何提高性能？
一吨货物，我要运送到吐鲁番：
- 1个人运，不敢想象
- 50个人运，太难了；
- 500个人运，每个人都很轻松；
这是分布式吗？
- 这里面有集群的概念，也有分布式的概念，二者不要混淆，面试常问的经典题目
分布式：不同的业务模块部署在不同的服务器上或者同一个业务模块分拆多个子业务，部署不同的服务器上，解决高并发的问题
集群：同一个业务部署在多台服务器上，提高系统的高可用

1.3 主流的分布式文件系统

1.3.1 HDFS

（Hadoop Distributed File System）Hadoop 分布式文件系统
高容错的系统，适合部署到廉价的机器上
能提供高吞吐量的数据访问，非常适合大规模数据应用
HDFS 采用主从结构，一个 HDFS 是由一个 name 节点和 N 个 data 节点组成
name 节点储存元数据，一个文件分割成 N 份存储在不同的 data 节点上
- 比如：把一本小说分章节存储在不同的服务器

1.3.2 GFS（没有HDFS应用面广，生态圈小）

Google File System
可扩展的分布式文件系统，用于大型的，分布式的，对大量数据进行访问的应用
运行于廉价的普通硬件上，可以提供容错功能
它可以给大量的用户提供总体性能较高的服务
GFS 采用主从结构，一个 GFS 集群由一个 master 和大量的 chunkserver（分块服务器）组成
一个文件被分割若干块，分散储存到多个分块 server 中

1.3.3 FastDFS

专为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务
HDFS，GFS 等都是通用的文件系统，他们的优点是开发体验好，但是系统的复杂度较高，性能也一般
相比之下，专用的分布式文件系统体验差，但是复杂度低，性能也高，尤其 FastDFS 特别适合图片，小视频等小文件，因为 FastDFS 对文件是不分割的，所以没有文件合并的开销
网络通信用 socket，速度快

1.4 工作原理

FastDFS 包含 Tracker Server 和 Storage Server；
客户端请求 Tracker Server 进行文件的上传与下载；
Tracker Server 调度 Storage Server 最终完成上传与下载。

在这里插入图片描述

Tracker （译：追踪者）
- 作用是负载均衡和调度，它管理着存储服务（Storage Server），可以理解为：“大管家，追踪者，调度员”；
- Tracker Server可以集群，实现高可用，策略为“轮询”。
Storage （译：仓库，贮存器）
- 作用是文件存储，客户端上传的文件最终存储到 storage 服务器上；
- storage 集群采用分组的方式，同组内的每台服务器是平等关系，数据同步，目的是实现数据备份，从而高可用，而不同组的服务器之间是不通信的；
- 同组内的每台服务器的存储量不一致的情况下，总存储量为容量最小的那个（木桶效应），所以同组内的服务器之间软硬件最好保持一致；
- Storage Server 会连接集群中的所有 Tracker Server，定时向他们汇报自己的状态，例如：剩余空间，文件同步情况，文件上传下载次数等信息。

1.5 上传/下载原理

在这里插入图片描述

客户端上传文件后，storage 会将文件 id 返回给客户端
group1/M00/02/11/aJxAeF21O5wAAAAAAAAGaEIOA12345.sh
- 组名（group1）：文件上传后，在 storage 组的名称，文件上传成功后，由 storage 返回，需要客户端自行保存
- 虚拟磁盘路径（M00）：storage 配置的虚拟路径，在磁盘选项 storage_path 对应
  - storage_path0 对应 M00
  - storage_path1 对应 M01
- 数据两级目录（02/11）：storage 在虚拟磁盘下自行创建的目录
- 文件名：与上传时不同，是用 storage 根据特定信息使用特定算法生成的
  - 包含：storage 服务器的 ip，创建时间戳，大小，后缀名等信息

2. FastDFS 的上传与下载

2.1 安装

2.1.1 安装 gcc（编译时需要）

yum install -y gcc gcc-c++

2.1.2 安装 libevent（运行时需求）

yum -y install libevent

2.1.3 安装 libfastcommon

libfastcommon 是 FastDFS 官方提供的，libfastcommon 包含了 FastDFS 运行所需要的一些基础库。

上传 libfastcommon-master.zip 到 /opt

#安装 可以解压zip包 的命令  
yum install -y unzip
#解压包
cd /opt
unzip libfastcommon.zip
#进入目录          
cd libfastcommon-master

编译

./make.sh
#如果：make.sh 的权限不够，则需要授权
chmod 777 make.sh

安装
- ```
./make.sh install
```
- libfastcommon 安装好后会在 /usr/lib64 目录下生成 libfastcommon.so 库文件

拷贝库文件

cd /usr/lib64
cp libfastcommon.so /usr/lib

2.1.4 安装 Tracker

下载 FastDFS_v5.05.tar.gz，并上传到 /opt

cd /opt
tar -zxvf FastDFS_v5.05.tar.gz
cd FastDFS
./make.sh
./make.sh install

安装成功将安装目录下的conf下的文件拷贝到 /etc/fdfs/ 下

cp /opt/FastDFS/conf/* /etc/fdfs/

2.2 配置

2.2.1 Tracker 配置

vim /etc/fdfs/tracker.conf

#端口号
port=22122   
#基础目录（Tracker运行时会向此目录存储storage的管理数据）（基础目录不存在的话，需要自行创建 mkdir /home/fastdfs）
base_path=/home/fastdfs

2.2.2 Storage 配置

vim /etc/fdfs/storage.conf

#配置组名
group_name=group1
#端口
port=23000
#向tracker心跳间隔（秒）
heart_beat_interval=30
#storage基础目录
#目录不存在，需要自行创建
base_path=/home/fastdfs
#store存放文件的位置(store_path)
#可以理解一个磁盘一个path，多个磁盘，多个store_path
#fdfs_storage目录不存在，需要自行创建
#mkdir /home/fastdfs/fdfs_storage
store_path0=/home/fastdfs/fdfs_storage 
#如果有多个挂载磁盘则定义多个store_path，如下
#store_path1=.....   (M01)
#store_path2=.....   (M02)
#配置tracker服务器:IPtracker_server=10.1.220.247:22122
#如果有多个则配置多个tracker
#tracker_server=10.1.220.x:22122

2.3 启动服务

启动 tracker

/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart

启动 storage

/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart

查看所有运行的端口
```
netstat -ntlp
```

2.4 搭建 Java 工程

使用 IDEA 创建 maven 工程

2.4.1 pom.xml

<!--fastdfs的java客户端-->
<dependency>
    <groupId>net.oschina.zcx7878</groupId>
    <artifactId>fastdfs-client-java</artifactId>
    <version>1.27.0.0</version>
</dependency>
<dependency>
    <groupId>org.apache.commons</groupId>
    <artifactId>commons-io</artifactId>
    <version>1.3.2</version>
</dependency>

2.4.2 创建配置文件

在 resources 下创建 config 目录，在 config 目录下创建 fastdfs-client.properties，内容如下：

##fastdfs-client.properties
fastdfs.connect_timeout_in_seconds = 5
fastdfs.network_timeout_in_seconds = 30
fastdfs.charset = UTF-8
fastdfs.http_anti_steal_token = false
fastdfs.http_secret_key = FastDFS1234567890
fastdfs.http_tracker_http_port = 80
#10.1.220.247 改成自己虚拟机的IP地址
fastdfs.tracker_servers = 10.1.220.247:22122

2.4.3 文件上传

public class TestUpload {
    public static void main(String[] args) {
        try {
            // 加载配置文件
            ClientGlobal.initByProperties("config/fastdfs-client.properties");
            // 创建tracker客户端
            TrackerClient trackerClient = new TrackerClient();
            // 通过tracker客户端获取tracker的连接服务并返回
            TrackerServer trackerServer = trackerClient.getConnection();
            // 声明storage服务
            StorageServer storageServer = null;
            // 定义storage客户端
            StorageClient1 client = new StorageClient1(trackerServer, storageServer);
            
            // 定义文件元信息
            NameValuePair[] list = new NameValuePair[1];
            list[0] = new NameValuePair("fileName","1.jpg");
            String fileID = client.upload_file1("F:\\img\\1.jpg", "jpg", list);
            System.out.println("fileID = " + fileID);
            // group1/M00/00/00/CgHc918f8l6AFYp0AAWICfQnHuk889.jpg
            /*
                group1：一台服务器，就是一个组
                M00： store_path0 ----> /home/fastdfs/fdfs_storage/data
                00/00：两级数据目录
             */
            trackerServer.close();
        }catch(Exception e){
            e.printStackTrace();        
        }
    }
}

2.4.4 文件查询

public class TestQuery {
    public static void main(String[] args) throws Exception {
        // 加载配置文件
        ClientGlobal.initByProperties("config/fastdfs-client.properties");
        // 创建tracker客户端
        TrackerClient trackerClient = new TrackerClient();
        // 通过tracker客户端获取tracker的连接服务并返回
        TrackerServer trackerServer = trackerClient.getConnection();
        // 声明storage服务
        StorageServer storageServer = null;
        // 定义storage客户端
        StorageClient1 client = new StorageClient1(trackerServer, storageServer);
        
        FileInfo fileInfo = client.query_file_info1("group1/M00/00/00/CgHc918f8l6AFYp0AAWICfQnHuk889.jpg");
        if(fileInfo!=null)
            System.out.println("fileInfo = " + fileInfo);
        else
            System.out.println("查无此文件！");
        trackerServer.close();
    }
}

2.4.5 文件下载

public class TestDownload {
    public static void main(String[] args) throws Exception{
        // 加载配置文件
        ClientGlobal.initByProperties("config/fastdfs-client.properties");
        // 创建tracker客户端
        TrackerClient trackerClient = new TrackerClient();
        // 通过tracker客户端获取tracker的连接服务并返回
        TrackerServer trackerServer = trackerClient.getConnection();
        // 声明storage服务
        StorageServer storageServer = null;
        // 定义storage客户端
        StorageClient1 client = new StorageClient1(trackerServer, storageServer);
        
        byte[] bytes = client.download_file1("group1/M00/00/00/CgHc918f8l6AFYp0AAWICfQnHuk889.jpg");
        // 通过io将字节数组，转换成一个文件
        FileOutputStream fileOutputStream = new FileOutputStream(new File("F:/xxxxxx.jpg"));
        fileOutputStream.write(bytes);
        fileOutputStream.close();
        trackerServer.close();
        System.out.println("下载完毕！");
    }
}

3. 项目实战

掌握 FastDFS 在真实项目中的使用方法；
掌握 FastDFS 实现图片服务器；

3.1 搭建图片服务器

3.1.1 Nginx 模块安装（Storage）

上传 fastdfs-nginx-module_v1.16.tar.gz 到 /opt

解压 nginx 模块

tar -zxvf fastdfs-nginx-module_v1.16.tar.gz

修改 config 文件，将文件中的 /usr/local/ 路径改为 /usr/
```
cd /opt/fastdfs-nginx-module/src
vim config
```
将 fastdfs-nginx-module/src下的 mod_fastdfs.conf 拷贝至 /etc/fdfs 下
```
cp mod_fastdfs.conf /etc/fdfs/
```

修改 /etc/fdfs/mod_fastdfs.conf

vim /etc/fdfs/mod_fastdfs.conf

base_path=/home/fastdfs
tracker_server=10.1.220.247:22122 
#(n个tracker配置n行)
#tracker_server=10.1.220.x:22122
#url中包含group名称
url_have_group_name=true       
#指定文件存储路径（上面配置的store路径） 
store_path0=/home/fastdfs/fdfs_storage

将 libfdfsclient.so 拷贝至 /usr/lib 下

cp /usr/lib64/libfdfsclient.so /usr/lib/

创建 nginx/client 目录
```
mkdir -p /var/temp/nginx/client
```

3.1.2 Nginx 安装（Tracker：负载均衡）

C 语言编译环境
```
yum install gcc-c++
```

安装依赖库

# PCRE nginx的http模块使用pcre来解析正则表达式，所以需要在linux上安装pcre库。
yum install -y pcre pcre-devel

# zlib nginx使用zlib对http包的内容进行gzip，所以需要在linux上安装zlib库。
yum install -y zlib zlib-devel

# openssl OpenSSL 是一个强大的安全套接字层密码库，nginx不仅支持http协议，还支持https，所以需要在linux安装openssl库。
yum install -y openssl openssl-devel

将 Nginx 的源码包上传到/opt
解压
```
tar -xvf nginx-1.17.8.tar
```
进入到解压之后的目录
```
cd /opt/nginx-1.17.8
```

执行命令 configure，生成 Mikefile 文件（全复制到命令行）

./configure \
--prefix=/usr/local/nginx \
--pid-path=/var/run/nginx/nginx.pid \
--lock-path=/var/lock/nginx.lock \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--with-http_gzip_static_module \
--http-client-body-temp-path=/var/temp/nginx/client \
--http-proxy-temp-path=/var/temp/nginx/proxy \
--http-fastcgi-temp-path=/var/temp/nginx/fastcgi \
--http-uwsgi-temp-path=/var/temp/nginx/uwsgi \
--http-scgi-temp-path=/var/temp/nginx/scgi \
--add-module=/opt/fastdfs-nginx-module/src

编译
```
make
```
安装
```
make install
```

拷贝配置文件

cd /opt/FastDFS/conf
cp http.conf mime.types /etc/fdfs/
是否覆盖：yes

修改 nginx 配置文件

cd /usr/local/nginx/conf/vim nginx.conf

server {
    listen       80;
    server_name  10.1.220.247;
    #charset koi8-r;
    #access_log  logs/host.access.log  main;
    location /group1/M00 {
        root   /home/fastdfs/fdfs_storage/data;
        ngx_fastdfs_module;
    }

关闭 nginx，并启动 nginx

pkill -9 nginx
/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf

访问 nginx 并查看图片

http://10.1.220.247

http://10.1.220.247/group1/M00/00/00/CgHc918f8l6AFYp0AAWICfQnHuk889.jpg

3.2 创建前端页面

<%--上传文件，文件与文字相比较起来，属于内容较大，必须使用post方式提交--%>
<%--上传文件，和普通文件有区别，action接收参数也会区别对待，所以声明带文件提交的表单为“多部件表单”--%>
<form action="upload" method="post" enctype="multipart/form-data">
    <input type="file" name="fname">
    <br>
    <button>提交</button>
</form>

3.3 搭建 web 服务

3.3.1 pom.xml

<packaging>war</packaging>
<dependencies>
    <!-- 因为有jsp页面，所以引用servlet依赖-->
    <dependency>
        <groupId>javax.servlet</groupId>
        <artifactId>servlet-api</artifactId>
        <scope>provided</scope>
        <version>2.5</version>
    </dependency>
    <!-- 页面提交过来的请求，使用springmvc来处理-->
    <dependency>
        <groupId>org.springframework</groupId>
        <artifactId>spring-webmvc</artifactId>
        <version>5.2.7.RELEASE</version>
    </dependency>
    <!-- java连接fastDFS的客户端工具-->
    <dependency>
        <groupId>net.oschina.zcx7878</groupId>
        <artifactId>fastdfs-client-java</artifactId>
        <version>1.27.0.0</version>
    </dependency>
    <!-- 图片上传到FastDFS需要用的到IO工具-->
    <dependency>
        <groupId>org.apache.commons</groupId>
        <artifactId>commons-io</artifactId>
        <version>1.3.2</version>
    </dependency>
    <!-- 图片保存到web服务器需要用到的IO工具-->
    <dependency>
        <groupId>commons-fileupload</groupId>
        <artifactId>commons-fileupload</artifactId>        
        <version>1.3.1</version>
    </dependency>
    <!--用来转换java对象和json字符串，注意，2.7以上版本必须搭配spring5.0以上-->
    <dependency>
        <groupId>com.fasterxml.jackson.core</groupId>
        <artifactId>jackson-databind</artifactId>
        <version>2.9.8</version>
    </dependency>
</dependencies>
<build>
    <plugins>
        <plugin>
            <groupId>org.apache.tomcat.maven</groupId>
            <artifactId>tomcat7-maven-plugin</artifactId>
            <configuration>
                <port>8001</port>
                <path>/</path>
            </configuration>
            <executions>
                <execution>
                    <phase>package</phase>
                    <goals>
                        <goal>run</goal>
                    </goals>
                </execution>
            </executions>
        </plugin>
    </plugins>
</build>

3.3.2 web.xml

<?xml version="1.0" encoding="UTF-8"?>
<web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xmlns="http://xmlns.jcp.org/xml/ns/javaee"
         xsi:schemaLocation="http://xmlns.jcp.org/xml/ns/javaee 
http://xmlns.jcp.org/xml/ns/javaee/web-app_3_1.xsd"
         id="WebApp_ID" version="3.1">
    <servlet>
        <servlet-name>springMVC</servlet-name>
        <servlet-class>org.springframework.web.servlet.DispatcherServlet</servlet-class>
        <init-param>
            <param-name>contextConfigLocation</param-name>
            <param-value>classpath:spring/spring-mvc.xml</param-value>
        </init-param>
    </servlet>
    <servlet-mapping>
        <servlet-name>springMVC</servlet-name>
        <url-pattern>/</url-pattern>
    </servlet-mapping>
</web-app>

3.3.3 spring-mvc.xml

<!--扫描注解的包-->
<context:component-scan base-package="controller"/>
<!--扫描控制器中的注解：@Response-->
<mvc:annotation-driven/>
<!--上传文件的解析器（规定上传文件的大小限制）-->
<bean id="multipartResolver" class="org.springframework.web.multipart.commons.CommonsMultipartResolver">
    <!-- 上传文件最大限制：2GB-->
    <property name="maxUploadSize" value="2048000000"/>
</bean>

3.3.4 文件实体类

public class FileSystem implements Serializable {
    private String fileId;
    private String filePath;
    private String fileName;
}

3.3.5 控制层

@Controller
public class FileAction {
    /**
     * @param request 多部件表单的请求对象
     * @return 上传文件对象的json对象     
     * @throws Exception
     *
     * 上传文件的流程：
     * 1、先把文件保存到web服务器上
     * 2、再从web服务器上将文件 上传 到 FastDFS上
     */
    @RequestMapping("upload")
    //MultipartHttpServletRequest：是httpservletRequest的强化版本，不仅可以装文本信息，还可以装图片文件信息
    public @ResponseBody FileSystem upload(MultipartHttpServletRequest request) throws Exception {
        
        FileSystem fileSystem = new FileSystem();
        
        /* 1、把文件保存到web服务器*/
        // 从页面请求中，获取上传的文件对象
        MultipartFile file = request.getFile("fname");
        // 从文件对象中获取 文件的原始名称
        String oldFileName = file.getOriginalFilename();
        // 通过字符串截取的方式，从文件原始名中获取文件的后缀   1.jpg
        String hou = oldFileName.substring(oldFileName.lastIndexOf(".") + 1);
        // 为了避免文件因为同名而覆盖，生成全新的文件名
        String newFileName = UUID.randomUUID().toString() + "." + hou;
        // 创建web服务器保存文件的目录(预先创建好D:/upload目录，否则系统找不到路径，会抛异常)
        File toSaveFile = new File("D:/upload/" + newFileName);
        // 将路径转换成文件
        file.transferTo(toSaveFile);
        // 获取服务器的绝对路径
        String newFilePath = toSaveFile.getAbsolutePath();
        
        /* 2、把文件从web服务器上传到FastDFS*/
        ClientGlobal.initByProperties("config/fastdfs-client.properties");
        TrackerClient trackerClient = new TrackerClient();
        TrackerServer trackerServer = trackerClient.getConnection();
        StorageServer storageServer = null;
        StorageClient1 client = new StorageClient1(trackerServer, storageServer);
        
        // 定义文件元信息
        NameValuePair[] list = new NameValuePair[1];
        list[0] = new NameValuePair("fileName",oldFileName);
        String fileId = client.upload_file1(newFilePath, hou, list);
        trackerServer.close();
        
        // 封装fileSystem数据对象
        fileSystem.setFileId(fileId);
        fileSystem.setFileName(oldFileName);
        fileSystem.setFilePath(fileId);  //已经上传到FastDFS上，通过fileId来访问图片，所以fileId即为文件路径
        return  fileSystem;
    }
}

3.3.6 添加 FastDFS 的配置文件

在 resources 下创建 config 目录，在 config 目录下创建 fastdfs-client.properties

参考2.4.2

3.3.7 启动 FastDFS 服务，测试开始

/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart
/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf
netstat -ntlp
systemctl stop firewalld.service
cd /home/fastdfs/fdfs_storage/data/
ls

3.4 典型错误

重启 linux 服务器，可能会到 nginx 启动失败：

/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf
[root@localhost /]# nginx: [emerg] open() "/var/run/nginx/nginx.pid" failed (2: No such file or directory)

因为重启nginx，nginx会找日志文件来检查问题
导致本次错误的原因，是没有修改 pid 文件的路径
编辑 nginx 的配置文件：

vim /usr/local/nginx/conf/nginx.conf

pid       /usr/local/nginx/logs/nginx.pid;

再次启动 nginx，搞定！

我要成为罗宾姐姐

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
FastDFS

1. 场景概述天猫，淘宝等购物网站，大量的图片和视频，文件太多，如何存储？用户访问量大又如何保证下载速度？分布式文件系统就是解决这些问题的！1.1 什么是文件系统文件数据是如何存储的？1.2 分布式文件系统一台电脑存储量有限，并且并发吞吐量也有限，如何提高性能？一吨货物，我要运送到吐鲁番：1个人运，不敢想象50个人运，太难了；500个人运，每个人都很轻松；这是分布式吗？这里面有集群的概念，也有分布式的概念，二者不要混淆，面试常问的经典题目分布式：不同的
复制链接

扫一扫