Linux下安装FastDFS及其使用

最新推荐文章于 2024-06-09 16:00:00 发布

在互联网收废铁的程序员

最新推荐文章于 2024-06-09 16:00:00 发布

阅读量264

点赞数 1

分类专栏： Linux 文章标签： java

本文链接：https://blog.csdn.net/pertty12350/article/details/105057101

版权

Linux 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

我来了，哈哈哈

今天我们来讲FastDFS的应用，来吧，开始我们的表演。。。。

简介：

介绍：

 FastDFS是以C语言开发的一项开源轻量级分布式文件系统，他对文件进行管理，主要功能有：文件存储，文件同步，文件访问（文件上传/下载）,特别适合以文件为载体的在线服务，如图片网站，视频网站等

分布式文件系统：

 基于客户端/服务器的文件存储系统
 对等特性允许一些系统扮演客户端和服务器的双重角色，可供多个用户访问的服务器，比如，用户可以“发表”一个允许其他客户机访问的目录，一旦被访问，这个目录对客户机来说就像使用本地驱动器一样

上传交互过程

 1.Client访问Tracker上传到Storage，不需要附加参数；
 Tracker返回一台可用的Storage
 Client直接和Storage通讯完成文件上传

下载交互过程

 Client访问Tracker下载文件的Storage，参数为文件表识
 Tracker返回一台可用的Storage
 Client直接和Storage通讯完成文件下载

需要说明的是 Client为使用FastDFS服务的调用方，Client也应该是一台服务器，它对Tracker和Storage的调用均为服务器间的调用

OK，说了这么多，我们开始我们的安装教程。。。

本教程是在所有操作均在Centos7.X环境下进行，在其他版本应该也可以吧，，哈哈哈哈

1.教程开始：

1.1单节点FastDFS

整个安装过程非常复杂，很容易出错，建议多次备份
我们不打算安装多台虚拟机，因此会把tracker和Storage都安装在一起

资料下载：FastDFS文件

提取码：6299

1.1.1安装gcc

GCC用来对C语言代码进行编译运行，用yum命令安装

yum -y install gcc

后面会用到解压命令（unzip），所以这里可以用yum把unzip也安装一下

yum install -y unzip zip

1.1.2 安装libevent

yum -y install libevent

1.1.3 安装 libfastcommon-master

 解压刚刚我们上传的libfastcommon-master
 unzip libfastcommon-master.zip
 
 进入解压完成的目录
 cd libfastcommon-master
 
 编译并且安装：
 ./make
 ./make.sh install

1.1.4 安装fastdfs

 tar -zxvf FastDFS_v5.08.tar.gz

 cd FastDFS
 
 ./make.sh
 ./make.sh install

如果安装成功，会看到/etc/init.d/下提供的脚本文件

ll /etc/init.d/ | grep fdfs

fdfs_trackerd 是tracker启动脚本
fdfs——storaged 是storage启动脚本

能够在/etc/fdfs目录下看到默认的配置文件模版：

ll /etc/fdfs/

tarcker.conf.sample 是tracker的配置文件模板
storage.conf.sample 是storage的配置文件模版
client.conf.sample 是客户端的配置文件模版

1.1.5配置并启动tracker服务

FastDFS的tracker和storage在刚刚的安装过程中，都已经被安装了，因此我们安装这两种角色的方式是一样的。不同的是，两种需要不同的配置文件。
我们要启动tracker，就修改刚刚看到的tarcker.conf，并且启动fdfs_trackerd脚本即可。

1.首先将模版文件复制
cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf

2.修改复制后的配置文件
vim /etc/fdfs/tracker.conf
#修改内容如下：
base_path=/feicheng/tracker # 存储日志和数据的根目录
3.新建目录：
mkdir -p /feicheng/tracker

注意：关闭防火墙(如果不关闭防火墙，在防火墙中打开端口22122)
chkconfig iptables off
4.启动和停止

   启动tracker服务器：/etc/init.d/fdfs_trackerd start
   停止tracker服务器：/etc/init.d/fdfs_trackerd stop

不过安装过程中，fdfs已经被设置为系统服务，我们可以采用熟悉的服务启动方式：

   service fdfs_trackerd start # 启动fdfs_trackerd服务，停止用stop

检查FastDFS Tracker Server是否启动成功：

  ps -ef | grep fdfs_trackerd

设置tracker服务开机启动：

  chkconfig fdfs_trackerd on

1.1.6配置并启动storage服务

1.首先将模板文件复制
cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf

2.修改复制后的配置文件
vim /etc/fdfs/storage.conf

  #修改内容如下：
  base_path=/feicheng/storage            # 数据和日志文件存储根目录 
  
 store_path0=/feicheng/storage           # 第一个存储目录 
 
 tracker_server=192.168.2.7:22122       #  tracker服务器IP和端口

3.新建目录
mkdir -p /feicheng/storage

注意关闭防火墙：（若不关闭防火墙，就打开端口22122）
chkconfig iptables off

4.启动和停止：

  启动storage服务器：/etc/init.d/fdfs_storaged start
  关闭storage服务器：/etc/init.d/fdfs_storaged stop

推荐使用：
service fdfs_storaged start # 启动fdfs_storaged服务，停止用stop

设置storage服务开机启动：
chkconfig fdfs_storaged on

查看服务是否启动：
ps -ef | grep fdfs

2.使用nginx访问FastDFS

2.1 为什么需要使用Nginx访问？

FastDFS通过Tracker服务器,将文件放在Storage服务器存储，但是同组存储服务器之间需要进入文件复制，有同步延迟的问题。

假设Tracker服务器将文件上传到了192.168.4.125，上传成功后文件ID已经返回给客户端。此时FastDFS存储集群机制会将这个文件同步到同组存储192.168.4.126，在文件还没有复制完成的情况下，客户端如果用这个文件ID在192.168.4.126上取文件,就会出现文件无法访问的错误。

而fastdfs-nginx-module可以重定向文件连接到文件上传时的源服务器取文件,避免客户端由于复制延迟导致的文件无法访问错误

2.2安装fastdfs-nginx-module

2.2.1解压

tar -zxvf fastdfs-nginx-module_v1.16.tar.gz

2.2.2修改config

1.进入src目录：
cd fastdfs-nginx-module/src/

2.编辑config
vim config

使用以下命令：
:%s+/usr/local/+/usr/+g

将所有的/usr/local替换为 /usr，这个才是正确的目录:

2.2.3配置nginx与FastDFS关联配置文件

复制 fastdfs-nginx-module 源码中的配置文件到/etc/fdfs 目录，并修改
cp /usr/local/feicheng/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/

vi /etc/fdfs/mod_fastdfs.conf
修改以下配置：

  connect_timeout=10      # 客户端访问文件连接超时时长（单位：秒）
 tracker_server=192.168.2.7:22122    # tracker服务IP和端口

url_have_group_name=true                # 访问链接前缀加上组名

store_path0=/feicheng/storage            # 文件存储路径

复制 FastDFS 的部分配置文件到/etc/fdfs 目录
cd /usr/local/feicheng/FastDFS/conf/

cp http.conf mime.types /etc/fdfs/

2.3安装Nginx插件

2.3.1如果没有安装过nginx

安装nginx的依赖库
yum -y install gcc pcre pcre-devel zlib zlib-devel openssl openssl-devel
解压安装包
tar -zxvf nginx-1.10.0.tar.gz
配置nginx安装包，并指定fastdfs-nginx-model
cd nginx-1.10.0
./configure --prefix=/opt/nginx --sbin-path=/usr/bin/nginx --add-module=/usr/local/feicheng/fastdfs-nginx-module/src
注意：在执行./configure配置nginx参数的时候，需要将fastdfs-nginx-moudle源码作为模块编译进去。
编译并安装
make && make install

2.3.2 如果安装过Nginx

进入Nginx目录
cd /usr/local/feicheng/nginx-1.10.0/
配置FastDFS模块
./configure --prefix=/opt/nginx --sbin-path=/usr/bin/nginx --add-module=/usr/local/feicheng/fastdfs-nginx-module/src
注意：这次配置时，要添加fastdfs-nginx-moudle模块
编译，注意，这次不要安装（install）
make
替换nginx二进制文件
mv /usr/bin/nginx /usr/bin/nginx-bak
用新编译的nginx启动文件替代原来的：
cp objs/nginx /usr/bin/

2.2.3启动Nginx

配置nginx整合fastdfs-module模块
我们需要修改nginx配置文件，在/opt/nginx/config/nginx.conf文件中：

vim /opt/nginx/conf/nginx.conf

将文件中，原来的server 80{ ...} 部分代码替换为如下代码：

`server {
listen 80;
server_name image.leyou.com;

	# 监听域名中带有group的，交给FastDFS模块处理
    location ~/group([0-9])/ {
        ngx_fastdfs_module;
    }

    location / {
        root   html;
        index  index.html index.htm;
    }

    error_page   500 502 503 504  /50x.html;
    location = /50x.html {
        root   html;
    }
}`

启动Nginx：

   nginx	# 启动nginx
   
   nginx -s stop	# 停止nginx
   
  nginx -s reload	# 重新载入配置文件

可通过ps -ef | grep nginx查看nginx是否已启动成功

2.3.4设置Nginx为开机启动

创建一个开机启动的脚本：
vim /etc/init.d/nginx

添加以下内容：

#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig:   - 85 15
# description:  NGINX is an HTTP(S) server, HTTP(S) reverse \
#               proxy and IMAP/POP3 proxy server
# processname: nginx
# config:      /etc/nginx/nginx.conf
# config:      /etc/sysconfig/nginx
# pidfile:     /var/run/nginx.pid

# Source function library.
. /etc/rc.d/init.d/functions

# Source networking configuration.
. /etc/sysconfig/network

# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0

nginx="/usr/bin/nginx"
prog=$(basename $nginx)

NGINX_CONF_FILE="/opt/nginx/conf/nginx.conf"

[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx

lockfile=/var/lock/subsys/nginx

make_dirs() {
   # make required directories
   user=`$nginx -V 2>&1 | grep "configure arguments:.*--user=" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
   if [ -n "$user" ]; then
      if [ -z "`grep $user /etc/passwd`" ]; then
         useradd -M -s /bin/nologin $user
      fi
      options=`$nginx -V 2>&1 | grep 'configure arguments:'`
      for opt in $options; do
          if [ `echo $opt | grep '.*-temp-path'` ]; then
              value=`echo $opt | cut -d "=" -f 2`
              if [ ! -d "$value" ]; then
                  # echo "creating" $value
                  mkdir -p $value && chown -R $user $value
              fi
          fi
       done
    fi
}

start() {
    [ -x $nginx ] || exit 5
    [ -f $NGINX_CONF_FILE ] || exit 6
    make_dirs
    echo -n $"Starting $prog: "
    daemon $nginx -c $NGINX_CONF_FILE
    retval=$?
    echo
    [ $retval -eq 0 ] && touch $lockfile
    return $retval
}

stop() {
    echo -n $"Stopping $prog: "
    killproc $prog -QUIT
    retval=$?
    echo
    [ $retval -eq 0 ] && rm -f $lockfile
    return $retval
}

restart() {
    configtest || return $?
    stop
    sleep 1
    start
}

reload() {
    configtest || return $?
    echo -n $"Reloading $prog: "
    killproc $nginx -HUP
    RETVAL=$?
    echo
}

force_reload() {
    restart
}

configtest() {
  $nginx -t -c $NGINX_CONF_FILE
}

rh_status() {
    status $prog
}

rh_status_q() {
    rh_status >/dev/null 2>&1
}

case "$1" in
    start)
        rh_status_q && exit 0
        $1
        ;;
    stop)
        rh_status_q || exit 0
        $1
        ;;
    restart|configtest)
        $1
        ;;
    reload)
        rh_status_q || exit 7
        $1
        ;;
    force-reload)
        force_reload
        ;;
    status)
        rh_status
        ;;
    condrestart|try-restart)
        rh_status_q || exit 0
            ;;
    *)
        echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
        exit 2
esac

修改文件权限，并加入服务列表
# 修改权限
chmod 777 /etc/init.d/nginx
# 添加到服务列表
chkconfig --add /etc/init.d/nginx

设置开机启动
chkconfig nginx on

OKOK，到这里我们的FastDFS部署安装就又完成了，是不是感觉很激动呢。。。哈哈哈

不要激动，下面我会给出具体操作过程

FastDFS在Java中的使用教程：

1.首先什么也不管，先来我们的Pom文件：（只引入了用到的依赖）

 <!-- FastDFS客户端 -->
        <dependency>
            <groupId>com.github.tobato</groupId>
            <artifactId>fastdfs-client</artifactId>
            <version>1.26.1-RELEASE</version>
        </dependency>

2.引入我们的配置文件，使用SpringBoot开发快捷，只需要在我们的Application.yml中配置就可以了

#启动端口
server:
  port: 8081
#图片上传
fdfs:
  so-timeout: 1501 #超时时间
  connect-timeout: 601 #连接超时时间
  thumb-image:   #缩略图
    width: 60
    height: 60
  tracker-list: #tracker地址：你的虚拟机服务器地址+端口（默认是22122）
    - 你的服务器IP:22122

3.好了，我们的基本工作完成了，接下来开始上菜。。。

3.1 创建我们需要的基本类

ImageResult

package com.e17.upload.pojo;

import lombok.Data;

/**
 * 图片返回Json数据
 *
 * @author Lenovo
 */
@Data
public class ImageResult {

    /**
     * 返回图片路径
     */
    private String src;

    /**
     * 返回的图片标题
     */
    private String title;

    /**
     * 构造方法
     *
     * @param src
     * @param title
     */
    public ImageResult(String src, String title) {

        this.src = src;

        this.title = title;
    }
}

MessageResult

package com.e17.upload.pojo;

import lombok.Data;

/**
 * 上传图片信息返回
 * @author Lenovo
 */
@Data
public class MessageResult<T> {

    /**
     * 返回的状态 0--上传成功  1--上传失败
     */
    private Integer code;

    /**
     * 上传的信息
     */
    private String msg;

    /**
     * 返回的数据
     */
    private T data;

    /**
     * 带数据的返回结果
     * @param code
     * @param msg
     * @param data
     */
    public MessageResult(Integer code, String msg, T data) {

        this.code = code;

        this.msg = msg;

        this.data = data;

    }
}

这个就是我们响应给客服端的数据信息。很简单吧，在我们项目开发中都会有这些开发文档，我们只需要返回文档中的内容就可以了。。。:tw-1f506:

3.2 配置类：

FastClientImporter

package com.e17.upload.config;

import com.github.tobato.fastdfs.FdfsClientConfig;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.EnableMBeanExport;
import org.springframework.context.annotation.Import;
import org.springframework.jmx.support.RegistrationPolicy;

/**
 * @author Lenovo
 */
@Configuration
@Import(FdfsClientConfig.class)
@EnableMBeanExport(registration = RegistrationPolicy.IGNORE_EXISTING)
public class FastClientImporter {

}

这个配置类什么也不做，只需要配置在这里即可。。

4.我们的基本类就创建完了，很少吧，是的入门就是这么简单，下面开始我们的逻辑开始：

4.1 创建我们熟悉的Controller

UploadController

package com.e17.upload.controller;

import com.e17.upload.pojo.ImageResult;
import com.e17.upload.pojo.MessageResult;
import com.e17.upload.service.UploadService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.http.ResponseEntity;
import org.springframework.stereotype.Controller;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.multipart.MultipartFile;

/**
 * 上传图片Controller
 *
 * @author Lenovo
 */
@Controller
@RequestMapping("upload")
public class UploadController {

    @Autowired(required = false)
    private UploadService uploadService;

    /**
     * 上传图片
     * @param file
     * @return
     */
    @PostMapping("file")
    public ResponseEntity<MessageResult<ImageResult>> upload(@RequestParam("file") MultipartFile file) {

        MessageResult<ImageResult> messageResult = this.uploadService.upload(file);

        return ResponseEntity.ok(messageResult);
    }
}

这里会报错，不用慌张，是我们的Service没有创建。。。
下面就是我们的Service

4.2 创建我们的Service

UploadService

package com.e17.upload.service;

import com.e17.upload.pojo.ImageResult;
import com.e17.upload.pojo.MessageResult;
import org.springframework.web.multipart.MultipartFile;

/**
 * @author Lenovo
 */
public interface UploadService {

    // 删除图片
    MessageResult<ImageResult> upload(MultipartFile file);
}

4.3创建我们的Service实现类

UploadServiceImpl

package com.e17.upload.service.impl;

import com.e17.upload.pojo.ImageResult;
import com.e17.upload.pojo.MessageResult;
import com.e17.upload.service.UploadService;
import com.github.tobato.fastdfs.domain.StorePath;
import com.github.tobato.fastdfs.domain.ThumbImageConfig;
import com.github.tobato.fastdfs.service.FastFileStorageClient;
import org.apache.commons.lang.StringUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import org.springframework.web.multipart.MultipartFile;

import javax.imageio.ImageIO;
import java.awt.image.BufferedImage;
import java.util.Arrays;
import java.util.List;

/**
 * 上传Service
 *
 * @author Lenovo
 */
@Service
public class UploadServiceImpl implements UploadService {


    @Autowired
    private FastFileStorageClient storageClient;

    @Autowired
    private ThumbImageConfig thumbImageConfig;


    private static final List<String> CONTENT_TYPES = Arrays.asList("image/gif", "image/jpeg");

    private static final Logger LOGGER = LoggerFactory.getLogger(UploadServiceImpl.class);


    /**
     * 上传图片
     *
     * @param file
     * @return
     */
    @Override
    public MessageResult<ImageResult> upload(MultipartFile file) {

        // 校验文件类型
        String originalFilename = file.getOriginalFilename();

        String contentType = file.getContentType();

        if (!CONTENT_TYPES.contains(contentType)) {

            LOGGER.info("文件不合法：{}", originalFilename);

            return new MessageResult<>(-1, "文件不合法", new ImageResult(null, null));
        }

        try {

            // 校验文件内容
            BufferedImage bufferedImage = ImageIO.read(file.getInputStream());

            if (bufferedImage == null) {

                LOGGER.info("文件不合法：{}" + originalFilename);

                return new MessageResult<>(-1, "文件不合法", new ImageResult(null, null));
            }

            // 将文件写入对应的储存地址
            // 将文件上传到FastDFS
            // 获取文件后缀名
            String extension = StringUtils.substringAfterLast(file.getOriginalFilename(), ".");

            // 上传并生成缩略图
            StorePath storePath = this.storageClient.uploadFile(file.getInputStream(), file.getSize(), extension, null);

            // 返回图片Url
            String imageUrl = “服务器Ip” + storePath.getFullPath();

            LOGGER.info("图片路径：{}", imageUrl);

            return new MessageResult<>(0, "上传成功", new ImageResult(imageUrl, originalFilename));

        } catch (Exception e) {

            e.printStackTrace();

            return new MessageResult<>(-1, "上传失败", new ImageResult(null, null));
        }
    }
}

这里就是我们实现逻辑的地方，哈哈哈，只是简单的上传功能

注意：这里的服务器IP，就是你的服务器的IP地址，我们不是配置了Nginx吗，我们可以实现设置一个自定义域名：
例如：http://image.fc.com

喜欢的在下面可以评论或者留言哦，有什么问题可以评论留言
感谢你的浏览，么么哒。。。
😘 😚

在互联网收废铁的程序员

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Linux下安装FastDFS及其使用

###我来了，哈哈哈今天我们来讲FastDFS的应用，来吧，开始我们的表演。。。。###简介：介绍： FastDFS是以C语言开发的一项开源轻量级分布式文件系统，他对文件进行管理，主要功能有：文件存储，文件同步，文件访问（文件上传/下载）,特别适合以文件为载体的在线服务，如图片网站，视频网站等分布式文件系统：基于客户端/服务器的文件存储系统对等特性允许一些系统扮演客户端和服务器...
复制链接

扫一扫