centos7安装FastDFS详解

最新推荐文章于 2023-03-12 15:05:57 发布
最新推荐文章于 2023-03-12 15:05:57 发布
阅读量226 收藏
点赞数
分类专栏： 文件服务 文章标签： java centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38796538/article/details/108101888
版权

centos7安装FastDFS详解

配置FastDFS环境准备工作

参考文献

FastDFS:https://github.com/happyfish100/

官方安装文档：https://github.com/happyfish100/fastdfs/wiki

环境准备

  • Centos7.x 两台，分别安装tracker与storage
  • 下载安装包：
    • libfatscommon：FastDFS分离出的一些公用函数包
    • FastDFS：FastDFS本体
    • fastdfs-nginx-module：FastDFS和nginx的关联模块
    • nginx：发布访问服务

安装步骤 (tracker与storage两台服务器都要执行)

  • 安装基础环境

    yum install -y gcc gcc-c++
yum -y install libevent

  • 安装libfatscommon函数库

    # 解压
tar -zxvf libfastcommon-1.0.42.tar.gz
    • 进入libfastcommon文件夹，编译并且安装
    cd libfastcommon-1.0.42
./make.sh
./make.sh install

  • 安装fastdfs主程序文件

    # 解压
tar -zxvf fastdfs-6.04.tar.gz

    进入到fastdfs目录，安装fastdfs

    cd fastdfs-6.04/
./make.sh
./make.sh install

  • 拷贝配置文件如下：

cp /home/software/FastDFS/fastdfs-6.04/conf/* /etc/fdfs/

配置tracker服务

修改tracker配置文件

vim /etc/fdfs/tracker.conf

修改tracker配置文件，此为tracker的工作目录，保存数据以及日志

base_path=/usr/local/fastdfs/tracker

创建tracker工作目录

mkdir /usr/local/fastdfs/tracker -p

启动tracker服务

/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf

检查进程如下：

ps -ef|grep tracker

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5FFaFENC-1597821912427)(D:\hexo\source_posts\image\image-20200619100511089.png)]

停止tracker

/usr/bin/stop.sh /etc/fdfs/tracker.conf

配置storage服务

修改storage配置文件

修改该storage.conf配置文件

vim /etc/fdfs/storage.conf

# 修改组名
group_name=groupTest
# 修改storage的工作空间
base_path=/usr/local/fastdfs/storage
# 修改storage的存储空间
store_path0=/usr/local/fastdfs/storage
# 修改tracker的地址和端口号，用于心跳
tracker_server=(trackerip):22122

创建storage工作目录

mkdir /usr/local/fastdfs/storage -p

启动storage

前提：必须首先启动tracker

/usr/bin/fdfs_storaged /etc/fdfs/storage.conf

检查进程如下：

ps -ef|grep storage

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bUrfrZa6-1597821912433)(D:\hexo\source_posts\image\image-20200619101616170.png)]

测试上传(在storage服务器中操作)

修改的client配置文件

vim /etc/fdfs/client.conf

base_path=/usr/local/fastdfs/client
tracker_server=(trackerip):22122

创建client工作目录

mkdir /usr/local/fastdfs/client

测试：

/usr/bin/fdfs_test /etc/fdfs/client.conf upload ./testUpload.jpg

查看上传的文件

cd /usr/local/fastdfs/storage/data/00/00

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lrNoNCm1-1597821912436)(D:\hexo\source_posts\image\image-20200619103434822.png)]

配置nginx服务器

fastdfs安装好以后是无法通过http访问的，这个时候就需要借助nginx了，所以需要安装fastdfs的第三方模块到nginx中，就能使用了。nginx需要和storage在同一个节点。

安装nginx插件

解压nginx的fastdfs压缩包

tar -zxvf fastdfs-nginx-module-1.22.tar.gz

复制配置文件如下：

cp mod_fastdfs.conf /etc/fdfs

修改/fastdfs-nginx-module/src/config文件，主要是修改路径，把local删除，因为fastdfs安装的时候我们没有修改路径，原路径是/usr/local/incloud

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wyNcVDbe-1597821912438)(D:\hexo\source_posts\image\image-20200619154308352.png)]

安装nginx

  1. 去官网http://nginx.org/下载对应的nginx包，推荐使用稳定版本

  2. 上传nginx到linux系统

  3. 安装依赖环境

    (1)安装gcc环境

      yum install gcc-c++

    (2)安装PCRE库，用于解析正则表达式

     yum install -y pcre pcre-devel

    (3)zlib压缩和解压缩依赖，

     yum install -y zlib zlib-devel

    (4)SSL 安全的加密的套接字协议层，用于HTTP安全传输，也就是https

     yum install -y openssl openssl-devel

  4. 解压，需要注意，解压后得到的是源码，源码需要编译后才能安装

    tar -zxvf nginx-1.16.1.tar.gz

  5. 编译之前，先创建nginx临时目录，如果不创建，在启动nginx的过程中会报错

    mkdir /var/temp/nginx -p

  6. 在nginx目录，输入如下命令进行配置，目的是为了创建makefile文件

    cd nginx-1.16.1

    ./configure \
--prefix=/usr/local/nginx \
--pid-path=/var/run/nginx/nginx.pid \
--lock-path=/var/lock/nginx.lock \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--with-http_gzip_static_module \
--http-client-body-temp-path=/var/temp/nginx/client \
--http-proxy-temp-path=/var/temp/nginx/proxy \
--http-fastcgi-temp-path=/var/temp/nginx/fastcgi \
--http-uwsgi-temp-path=/var/temp/nginx/uwsgi \
--http-scgi-temp-path=/var/temp/nginx/scgi \
--add-module=/home/software/fdfs/fastdfs-nginx-module-1.22/src

    主要新增一个第三方模块

    修改 mod_fastdfs.conf 配置文件

    base_path=/usr/local/fastdfs/tmp
tracker_server=(trackerip):22122
group_name=groupTest
url_have_group_name = true
store0_path=/usr/local/fastdfs/storage

    mkdir /usr/local/fastdfs/tmp

    修改nginx.conf，添加如下虚拟主机：

    server {
    listen       8888;
    server_name  localhost;

    location /groupTest/M00 {
            ngx_fastdfs_module;
    }

}

  7. make编译

    make

  8. 安装

    make install

  9. 进入sbin目录启动nginx

    ./nginx
    • 停止：./nginx -s stop
    • 重新加载：./nginx -s reload

浏览器测试

浏览器输入地址

例：http://10.10.10.115:8888/groupTest/M00/00/00/CgoKc17sIdSAIZ6pADfje97FrYA794.JPG
http://(storageip):8888/groupTest/M00/00/00/(imagename)

SpringBoot集成FastDFS

###引入依赖

<!-- https://mvnrepository.com/artifact/com.github.tobato/fastdfs-client -->
<dependency>
    <groupId>com.github.tobato</groupId>
    <artifactId>fastdfs-client</artifactId>
    <version>1.26.6</version>
</dependency>

###application.yml中加入配置

############################################################
#
# fdfs 配置
#
############################################################
fdfs:
  connect-timeout: 30   # 连接的超时时间
  so-timeout: 30        # 读取的超时时间
  tracker-list: (trackerip):22122   # tracker服务所在的ip地址和端口号

文件上传service

package com.gy.service.impl;

import com.github.tobato.fastdfs.domain.fdfs.StorePath;
import com.github.tobato.fastdfs.service.FastFileStorageClient;
import com.gy.service.FdfsService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import org.springframework.web.multipart.MultipartFile;

import java.io.InputStream;

@Service
public class FdfsServiceImpl implements FdfsService {

    @Autowired
    private FastFileStorageClient fastFileStorageClient;

    @Autowired
    private FileResource fileResource;

    @Override
    public String upload(MultipartFile file, String fileExtName) throws Exception {

        StorePath storePath = fastFileStorageClient.uploadFile(file.getInputStream(),
                                file.getSize(),
                                fileExtName,
                                null);

        String path = storePath.getFullPath();

        return path;
    }
    
}

###String转MultipartFile

工具类

package com.course.server.util;

import org.springframework.web.multipart.MultipartFile;
import sun.misc.BASE64Decoder;

import java.io.*;

public class Base64ToMultipartFile implements MultipartFile {

    private final byte[] imgContent;
    private final String header;

    public Base64ToMultipartFile(byte[] imgContent, String header) {
        this.imgContent = imgContent;
        this.header = header.split(";")[0];
    }

    @Override
    public String getName() {
        // TODO - implementation depends on your requirements
        return System.currentTimeMillis() + Math.random() + "." + header.split("/")[1];
    }

    @Override
    public String getOriginalFilename() {
        // TODO - implementation depends on your requirements
        return System.currentTimeMillis() + (int) Math.random() * 10000 + "." + header.split("/")[1];
    }

    @Override
    public String getContentType() {
        // TODO - implementation depends on your requirements
        return header.split(":")[1];
    }

    @Override
    public boolean isEmpty() {
        return imgContent == null || imgContent.length == 0;
    }

    @Override
    public long getSize() {
        return imgContent.length;
    }

    @Override
    public byte[] getBytes() throws IOException {
        return imgContent;
    }

    @Override
    public InputStream getInputStream() throws IOException {
        return new ByteArrayInputStream(imgContent);
    }

    @Override
    public void transferTo(File dest) throws IOException, IllegalStateException {
        new FileOutputStream(dest).write(imgContent);
    }

    public static MultipartFile base64ToMultipart(String base64) {
        try {
            String[] baseStrs = base64.split(",");

            BASE64Decoder decoder = new BASE64Decoder();
            byte[] b = new byte[0];
            b = decoder.decodeBuffer(baseStrs[1]);

            for(int i = 0; i < b.length; ++i) {
                if (b[i] < 0) {
                    b[i] += 256;
                }
            }

            return new Base64ToMultipartFile(b, baseStrs[0]);
        } catch (IOException e) {
            e.printStackTrace();
            return null;
        }
    }
}

controller

@RequestMapping("/upload")
public ResponseDto upload(String shardBase64) throws Exception {
    MultipartFile shard = Base64ToMultipartFile.base64ToMultipart(shardBase64);
}
把酒舞剑
关注
专栏目录
centos7搭建nginx+fastDFS
11-05
### FastDFS 在 CentOS 7 下的部署与 Nginx 集成详解 #### 一、FastDFS 简介及工作原理 **1.1 快速理解 FastDFS** FastDFS 是一个开源的高性能分布式文件系统，适用于海量数据存储场景，特别是针对中小文件（4KB ...
FastDFS分布式文件系统安装和使用
sumengnan的博客
03-21 1611
一、介绍 FastDFS(最快的分布式文件系统)是淘宝开发的一款轻量级分布式文件系统，采用C语言开发，目前只提供了C、java、PHP等语言的API。 主要用它来对文件进行管理，功能包括文件同步、文件访问（上传和下载），解决了大容量存储和负载均衡的问题。 类似的分布式文件系统还有谷歌的GFS、HDFS（Hadoop）、TFS（淘宝）等。 二、整体架构 FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。 Tracker 主要做调度工作（管理集群） trac.
FastDFS 学习笔记
liangkaiping0525的博客
06-30 382
一、理论基础    FastDFS比较适合以中小文件为载体的在线服务，比如跟Nginx（Apache）配合搭建图片服务器。    分布式文件系统FastDFS    FastDFS是纯C语言实现，只支持Linux、FreeBSD等UNIX系统。    FastDFS的两个核心概念分别是：Tracker（跟踪器）、Storage（存储节点）    跟踪器Tracker主要做调度工作，相当于mvc中的...
FastDFS快速入门三：FastDFS使用
houpk999的博客
05-28 1437
同其他组件类似，有两种使用FastDFS的方法，一种是使用命令行的方式，另一种是通过API方式。 1.命令行 ● 启动FastDFS的tracker服务 fdfs_trackerd /etc/fdfs/tracker.conf ● 重启tracker fdfs_trackerd /etc/fdfs/tracker.conf restart ● 关闭tracker fdfs_trackerd /etc/fdfs/tracker.conf stop ● 启动FastDFS的storage服
FastDFS教程
vincent_duan的专栏
04-28 2135
FastDFS简介 FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 FastDFS服务端有两个角色：跟踪器(tracker)和存储节点(storage)。 跟踪器主要负责调度工作，在访问上起负载均衡的作用。 存储节点存储文件，完成文件管理的所有功能，同时Fas...
Fastdfs的安装以及SpringBoot整合Fastdfs(Dokcer安装部署)
qq_42681787的博客
04-30 407
(一)快速了解Fastdfs FastDFS的开发者——淘宝的架构师余庆老师 FastDFS开源地址：https://github.com/happyfish100 1.fastdfs简介 fastDFS 是以C语言开发的一项开源轻量级分布式文件系统,由跟踪服务器（tracker server）、存储服务器（storage server）和客户(client）三个部分组成，它对文件进行管理，...
FastDFS安装详解
09-27
**FastDFS安装详解** FastDFS是一款开源的高性能、轻量级的分布式文件系统，它对文件进行管理，包括文件存储、文件同步、文件访问（文件上传、文件下载）等功能，解决了大容量存储和负载均衡的问题，特别适合以文件...
FastDFS安装
01-28
### FastDFS安装与应用详解 #### 一、FastDFS简介 FastDFS是一款使用C语言编写的开源分布式文件系统，特别适合于互联网环境下的文件管理和存储。它具备良好的扩展性和高可用性，支持冗余备份、负载均衡以及线性...
FastDfs安装说明
08-06
《FastDfs安装详解》 FastDFS是一款开源的高性能、轻量级的分布式文件系统，主要解决了大容量存储和负载均衡的问题，尤其适用于互联网行业。本文将详细介绍在CentOS 6.8环境下安装FastDFS的步骤，包括Tracker和...
FastDFS安装与Nginx整合
12-20
**FastDFS安装与Nginx整合详解** FastDFS是一个开源的、高性能的、轻量级的分布式文件系统，主要用于解决大容量存储和负载均衡的问题。它具有高可用性、高扩展性和低延迟等特点，适用于互联网行业的图片、视频等大...
FastDFS简单使用
ty4660015的博客
08-20 238
1.导包 <!--fastdfs--> <dependency> <groupId>com.github.tobato</groupId> <artifactId>fastdfs-client</artifactId> <version>1.26.5</version> </dependency> 2.配置 #socket连接超时时长 fdfs.soTimeout=
FastDFS使用教程
weixin_47371588的博客
11-24 1660
FastDFS使用教程(亲测可用)
Docker安装FastDFS步骤：
xiongjiajiede的博客
10-15 803
1.安装： #拉取镜像 docker pull delron/fastdfs #创建tracker容器 docker run -d --network=host --restart always --name tracker -v /var/fdfs/tracker:/var/fdfs delron/fastdfs tracker #创建storage容器 docker run -d --network=host --restart always --name storage -e TRACKER_S
分布式存储FastDFS
weixin_47900124的博客
05-03 484
阿里云图片存储，视频存储底层都是使用的FastDFS 在这里插入图片描述 在这里插入图片描述 依赖 <!--fastdfs文件存储--> <dependency> <groupId>com.github.tobato</groupId> <artifactId>fastdfs-client</artifactId> &l
SpringBoot整合FastDFS
Rome was not built in one day
03-07 3115
FastDFS的理解及安装请参考：理解：http://blog.csdn.net/juan0728juan/article/details/78673447安装：http://blog.csdn.net/juan0728juan/article/details/78678458这里介绍的是SpringBoot整合FastDFS实现上传文件的功能；（1）在pom.xml中引入一个好心人在maven仓...
fastdfs
qq_43269949的博客
12-05 421
fastdfs 分布式文件系统(高可用)linux系统上操作 yum install net-tools -y (安装)查看端口进程插件 编程模型： 文件在文件系统存储的格式 先进行分组 组名：group，（如果不给group名字，他会按照group1，gruop2…来分） 如果某几个storage服务器是相同的组名 表示这些服务器是互为主从（备份） 每一个Storage服务器都有一个主从，用...
FastDFS 介绍
最新发布
踩踩踩从踩的博客
03-12 1094
本篇文章会介绍FastDFS是什么，具有什么功能；FastDFS服务端有的角色，来实现这些功能；当然也涉及到集群，以及 负载均衡；使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。作为文件存储的中间件 ，我们怎么去使用它。FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。
[java] spring boot 中配置FastDFS 上传
weixin_41608476的博客
02-24 4508
在本篇中fastdfs的安装就不教了，搜索下就有很多教程！！！首先在pom.xml里加入fastdfs的jar&lt;!-- upload begin --&gt; &lt;dependency&gt; &lt;groupId&gt;com.github.tobato&lt;/groupId&gt; &lt;artifactId&gt;fastdfs-client&lt...
CentOS6.8环境下FastDfs安装步骤详解
"FastDfs安装说明文档，包括FastDfs的结构介绍，Tracker的安装步骤，以及安装过程中涉及的依赖库和配置文件的修改。" FastDFS是一种高性能的开源分布式文件系统，专为互联网应用设计，轻量级且易于部署。它主要由...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值