分布式文件存储——FastDFS

FastDFS

  • FastDFS 是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。 特别适合以文件为载体的在线服务,如相册网站、视频网站等等
  • FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务
  • FastDFS 服务端有两个角色:跟踪器(tracker)和存储节点(storage)。跟踪器主要做调度工作,在访问上起负载均衡的作用
  • 存储节点存储文件,完成文件管理的所有功能:就是这样的存储、同步和提供存取接口, FastDFS 同时对文件的 metadata 进行管理。所谓文件的 meta data 就是文件的相关属性,以 键值对(key value)方式表示,如:width=1024,其中的 key 为 width,value 为 1024。文件 metadata 是文件属性列表,可以包含多个键值对
  • 跟踪器和存储节点都可以由一台或多台服务器构成。跟踪器和存储节点中的服务器均可 以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的,可以根据服务器的压力情况随时增加或减少
  • 为了支持大容量,存储节点(服务器)采用了分卷(或分组)的组织方式。存储系统由 一个或多个卷组成,卷与卷之间的文件是相互独立的,所有卷的文件容量累加就是整个存储 系统中的文件容量。一个卷可以由一台或多台存储服务器组成,一个卷下的存储服务器中的文件都是相同的,卷中的多台存储服务器起到了冗余备份和负载均衡的作用
  • 在卷中增加服务器时,同步已有的文件由系统自动完成,同步完成后,系统自动将新增服务器切换到线上提供服务
  • 当存储空间不足或即将耗尽时,可以动态添加卷。只需要增加一台或多台服务器,并将它们配置为一个新的卷,这样就扩大了存储系统的容量
  • FastDFS 中的文件标识分为两个部分:卷名和文件名,二者缺一不可

简介

  • 架构图
    在这里插入图片描述

  • 上传流程

在这里插入图片描述
client 询问 tracker 上传到的 storage,不需要附加参数
tracker 返回一台可用的 storage
client 直接和 storage 通讯完成文件上传

  • 下载流程
    在这里插入图片描述
    client 询问 tracker 下载文件的 storage,参数为文件标识(组名和文件名)
    tracker 返回一台可用的 storage
    client 直接和 storage 通讯完成文件下载

  • 术语简介

    • Tracker Server:跟踪服务器,主要做调度工作,在访问上起负载均衡的作用。记录 storage server的状态,是连接 Client 和 Storage server 的枢纽。
    • Storage Server:存储服务器,文件和 meta data 都保存到存储服务器上
    • group:组,也称为卷。同组内服务器上的文件是完全相同的
    • 文件标识:包括两部分:组名和文件名(包含路径)
    • meta data:文件相关属性,键值对(Key Value Pair)方式,如:width=1024,heigth=768
  • 同步机制
    同一组内的 storage server 之间是对等的,文件上传、删除等操作可以在任意一台 storage server 上进行;
    文件同步只在同组内的 storage server 之间进行,采用 push 方式,即源服务器同步给目标服务器;
    源头数据才需要同步,备份数据不需要再次同步,否则就构成环路了
    上述第二条规则有个例外,就是新增加一台storage server时,由已有的一台storage server 将已有的所有数据(包括源头数据和备份数据)同步给该新增服务器

  • FastDFS运行时目录结构
    Tracker Server 目录
    在这里插入图片描述
    Storage Server 目录
    在这里插入图片描述

安装

核心安装

准备两个 Linux 服务器。两个服务器分别作为 tracker 服务器(跟踪服务器)和 storage 服务器(存储服务器)

  • 安装FastDFS依赖
    Tracker Server 和 Storage Server 完全一致的安装

  • 解压FastDFS核心库
    FastDFS 是 C 语言开发的应用。安装必须使用 make、cmake 和 gcc 编译器

    yum install -y make cmake gcc gcc-c++
    
  • 进入解压后的目录
    libfastcommon 是从 FastDFS 和 FastDHT 中提取出来的公共 C 函数库

    unzip libfastcommon-master.zip -d /usr/local/fastdfs
    
  • 进入解压后的目录

    cd /usr/local/fastdfs/libfastcommon-master
    
  • 编译安装
    libfastcommon 没有提供 make 命令安装文件。使用的是 shell 脚本执行编译和安装。shell脚本为 make.sh。默认安装到在/usr/lib64 和/usr/include/fastcommon 两个目录中

    # 编译
    ./make.sh
    # 安装
    ./make.sh install
    
  • 创建软连接(个人经验:默认安装时好像不用创建软连接,如果创建软连接后安装失败,不妨删除软连接再试一下)
    因为 FastDFS 主程序设置的 lib 目录是/usr/local/lib,所以需要创建软链接

    ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so 
    ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so 
    ln -s /usr/local/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so 
    ln -s /usr/local/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so
    

    软连接是linux中一个常用命令,它的功能是为某一个文件在另外一个位置建立一个同步的链接,更形象一些,软连接类似于windows系统中的快捷方式

  • 解压FastDFS主程序

    tar -zxf FastDFS_v5.08.tar.gz -C /usr/local/fastdfs
    
  • 进入FastDFS主程序源码目录

    cd /usr/local/fastdfs/FastDFS
    
  • 修改安装路径
    此操作可选。在集群环境中使用默认安装路径安装

    vi /usr/local/fastdfs/FastDFS/make.sh
    

    TARGET_PREFIX=$DESTDIR/usr修改成TARGET_PREFIX=$DESTDIR/usr/local

  • 编译安装

./make.sh 
./make.sh install

安装后,FastDFS 主程序所在位置是:
/usr/local/bin :可执行文件所在位置。默认安装在/usr/bin 中
/etc/fdfs :配置文件所在位置。就是默认位置
/usr/local/lib64 :主程序代码所在位置。默认在/usr/bin 中。
/usr/local/include/fastdfs: 包含的一些插件组所在位置。默认在/usr/include/fastdfs 中

  • FastDFS安装后资源简介
    • 服务脚本:/etc/init.d/目录中,脚本文件是 - fdfs-storaged 和 fdfs-trackerd
    • 配置文件模板
      /etc/fdfs/ 目 录 中 , 配 置 文 件 是 - client.conf.sample 、 storage.conf.sample 和 tracker.conf.sample
      tracker.conf.sample :跟踪器服务配置文件模板
      storage.conf.sample : 存储服务器配置文件模板
      client.conf.sample : FastDFS 提供的命令行客户端配置文件模板。可以通过命令行测试 FastDFS 有效性
    • 内置命令
      /usr/local/bin/目录中。命令有若干。可通过命令在控制台访问 FastDFS

tracker基础配置

只在 tracker server 节点中配置。

  • 创建跟踪服务配置文件
    FastDFS 提供了配置文件模板,可以根据模板创建需要使用的配置文件

    cd /etc/fdfs 
    cp tracker.conf.sample tracker.conf
    
  • 修改配置文件
    tracker.conf 配置文件用于描述跟踪服务的行为,需要进行下述修改

    vi /etc/fdfs/tracker.conf
    

    port=22122 # 默认服务端口
    base_path=/home/yuqing/fastdfs 修改为 base_path=/fastdfs/tracker(自定义目录)

    base_path 是 FastDFSTracker 启动后使用的根目录。也就是 data 和 logs 所在位置。

  • 创建自定义目录
    为配置文件中定义的 base_path 变量创建对应的目录

    mkdir -p /fastdfs/tracker
    
  • 修改启动服务脚本(如果FastDFS是默认位置安装的无需进行该操作)

    vi /etc/init.d/fdfs_trackerd
    

    PRG=/usr/bin/fdfs_trackerd 修改为 PRG=/usr/local/bin/fdfs_trackerd

  • 启动服务

    /etc/init.d/fdfs_trackerd start
    

    启动成功后,配置文件中 base_path 指向的目录中出现 FastDFS 服务相关数据目录(data 目录、logs 目录)

  • 查看服务状态

    /etc/init.d/fdfs_trackerd status
    # 或者
    ps aux | grep fdfs
    
  • 停止服务

    /etc/init.d/fdfs_trackerd stop
    
  • 重启状态

    /etc/init.d/fdfs_trackerd restart
    
  • 设置开机自启

vi /etc/rc.d/rc.local
# 添加下面语句
/etc/init.d/fdfs_trackerd start

storage基础配置

只在 storage server 中配置

  • 创建存储服务配置文件
    FastDFS 提供了配置文件模板,可以根据模板创建需要使用的配置文件

    cd /etc/fdfs
    cp storage.conf.sample storage.conf
    
  • 修改配置文件
    storage.conf 配置文件用于描述存储服务的行为,需要进行下述修改

    vi /etc/fdfs/storage.conf
    

    base_path=/home/yuqing/fastdfs -> base_path=/fastdfs/storage/base (自定义目录)
    store_path0=/home/yuqing/fastdfs -> store_path0=/fastdfs/storage/store(自定义目录)
    tracker_server=192.168.2.109:22122 -> tracker_server=tracker服务 IP:22122

    base_path - 基础路径。用于保存 storage server 基础数据内容和日志内容的目录。
    store_path0 - 存储路径。是用于保存 FastDFS 中存储文件的目录,就是要创建 256*256 个子目录的位置。 base_path 和 store_path0 可以使用同一个目录。
    tracker_server - 跟踪服务器位置。就是跟踪服务器的 ip 和端口

  • 创建自定义目录

    mkdir -p /fastdfs/storage/base 
    mkdir -p /fastdfs/storage/store
    
  • 修改服务脚本 (如果FastDFS是默认位置安装的无需进行该操作)

    vi /etc/init.d/fdfs_storaged
    

    PRG=/usr/bin/fdfs_storaged 修改为 PRG=/usr/local/bin/fdfs_storaged

  • 启动服务 (要求tracker服务必须已经启动)

    /etc/init.d/fdfs_storaged start
    

    启动成功后,配置文件中 base_path 指向的目录中出现 FastDFS 服务相关数据目录(data 目录、logs 目录),配置文件中的 store_path0 指向的目录中同样出现 FastDFS 存储相关数 据录(data 目录)。其中$store_path0/data/目录中默认创建若干子孙目录(两级目录层级总计 256x256 个目录),是用于存储具体文件数据的
    Storage 服务器启动比较慢,因为第一次启动的时候,需要创建 256x256 个目录

  • 查看服务状态

    /etc/init.d/fdfs_storaged status 
    # 或者
    ps aux | grep fdfs
    
  • 停止服务

    /etc/init.d/fdfs_storaged stop
    
  • 重启服务

    /etc/init.d/fdfs_storaged restart
    
  • 设置开机自启

    vi /etc/rc.d/rc.local 
    # 添加下面语句
    /etc/init.d/fdfs_storaged start
    

client基础配置

不是必须的。就是用于使用命令行测试 FastDFS 才需要配置的

  • 创建客户端配置文件
    在 tracker 服务结点所在服务器中配置客户端。同样通过配置文件模板创建对应配置文 件

    cd /etc/fdfs 
    cp client.conf.sample client.conf
    
  • 修改配置文件
    client.conf 配置文件中主要描述客户端的行为,需要进行下述修改

    vi /etc/fdfs/client.conf
    

    base_path=/home/yuqing/fastdfs 修改为base_path=/fastdfs/client (自定义目录)
    tracker_server=192.168.2.109:22122 修改为 tracker_server=tracker 服务 IP:22122

    base_path - 就是客户端命令行执行过程时临时数据存储位置。

  • 创建自定义目录

    mkdir -p /fastdfs/client
    

测试FastDFS

命令所在: /usr/local/bin 目录。 (如果在安装 FastDFS 过程中,没有修改 make.sh 文 件中的 TARGET_PREFIX 属性值,命令所在为/usr/bin 目录)

  • 上传文件

    /usr/local/bin/fdfs_upload_file /etc/fdfs/client.conf /要上传的文件
    

    上传结束后,返回 group1/M00/00/00/xxxxxxxxxx.xxx,检查 storage 服务结点中的 $store_path0/data/00/00/目录中是否有上传的文件(一般情况上传的文件按顺序保存在 $store_path0/data/00/00/目录中,不能完全保证)
    卷名 : group1
    文件名 :M00/00/00/xxxxxxxxxx.xxx
    其中 M00 是一个虚拟目录,相当于 windows 中的快捷方式,引用的是$store_path0/data 目录。

  • 删除文件

    /usr/local/bin/fdfs_delete_file /etc/fdfs/client.conf group1/M00/00/00/xxxxxxx.xxx
    

安装Nginx组件

安装 Nginx 是为了 WEB 应用中可以使用 HTTP 协议直接访问 Storage 服务中存储的文 件。在 storage 结点所在服务器安装 Nginx 组件
需要安装两部分内容。
Nginx 应用,在安装 nginx 应用的时候,同时要在 nginx 中增加一个 FastDFS 的组件:Module

  • 解压fastdfs-nginx-module_v1.16.tar.gz

    tar -zxf fastdfs-nginx-module_v1.16.tar.gz -C /usr/local/fastdfs
    
  • 修改fastdfs-nginx-module_v1.16.tar.gz源文件中的配置
    此操作必须修改,否则 Nginx 编译会报错

    vi /usr/local/fastdfs/fastdfs-nginx-module/src/config
    

    CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/"修改为CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/include/fastcommon/"
    ( 如 果 安 装 FastDFS 时 , 没 有 修 改 make.sh 文 件 , 则 改 为 : CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

    参数是用于配置安装 nginx 中的 FastDFS 组件的时候,在什么位置查找 FastDFS 核心代 码

  • 安装Nginx

    # 安装依赖
    yum install -y gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel
    # 解压 Nginx
    tar -zxf nginx-1.8.0.tar.gz -C /usr/local/fastdfs/
    # 进入 Nginx 源码目录
    cd /usr/local/fastdfs/nginx-1.8.0/
    
  • 创建目录
    Nginx 运行时需要创建若干临时文件,如果默认安装不需创建此目录

    mkdir -p /var/temp/nginx
    
  • 编译安装

# 编译
make 
# 安装
make install
  • 配置 fastdfs-nginx-module 模块配置文件
    复制配置文件/usr/local/fastdfs/fastdfs-nginx-module/src/mod_fastdfs.conf 到/etc/fdfs 目录 中

    cp /usr/local/fastdfs/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
    
  • 修改配置文件

cd /etc/fdfs/
vi mod_fastdfs.conf

将相关的键改为以下的值
connect_timeout=10
tracker_server=tracker服务ip:22122
url_have_group_name = true
store_path0=/fastdfs/storage/store

  • 解压 Nginx

    tar -zxf nginx-1.8.0.tar.gz -C /usr/local/fastdfs/
    
  • 进入 Nginx 源码目录

cd /usr/local/fastdfs/nginx-1.8.0/
  • 配置 Nginx 安装信息
./configure \
--prefix=/usr/local/nginx \
--pid-path=/var/run/nginx/nginx.pid \
--lock-path=/var/lock/nginx.lock \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--with-http_gzip_static_module \
--http-client-body-temp-path=/var/temp/nginx/client \
--http-proxy-temp-path=/var/temp/nginx/proxy \
--http-fastcgi-temp-path=/var/temp/nginx/fastcgi \
--http-uwsgi-temp-path=/var/temp/nginx/uwsgi \
--http-scgi-temp-path=/var/temp/nginx/scgi \
--add-module=/usr/local/fastdfs/fastdfs-nginx-module/src

–add-module 必须定义,此配置信息是用于指定安装 Nginx 时需要加载的模块,如果未 指定,Nginx 安装过程不会加载 fastdfs-nginx-module 模块,后续功能无法实现

  • 创建目录
    Nginx 运行时需要创建若干临时文件,如果默认安装不需创建此目录

    mkdir -p /var/temp/nginx
    
  • 编译安装

# 编译
make
# 安装
make install
  • 配置 fastdfs-nginx-module 模块配置文件

    # 复制配置文件
    cp /usr/local/fastdfs/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
    # 修改配置文件 mod_fastdfs.conf
    cd /etc/fdfs/
    vi mod_fastdfs.conf
    

    将相关的键改为以下的值
    connect_timeout=10
    tracker_server=tracker服务ip:22122
    url_have_group_name = true
    store_path0=/fastdfs/storage/store

  • 提供 FastDFS 需要的 HTTP 配置文件
    复制 FastDFS 安装包中的两个配置文件(http.conf 和 mime.types)到/etc/fdfs 目录中

cp /usr/local/fastdfs/FastDFS/conf/http.conf /etc/fdfs/ 
cp /usr/local/fastdfs/FastDFS/conf/mime.types /etc/fdfs/
  • 创建 nginx 启动需要的软连接 (如果FastDFS是默认位置安装的无需进行该操作)
    创建软连接
ln -s /usr/local/lib64/libfdfsclient.so /usr/lib64/libfdfsclient.so

nginx 启动后,会在默认的/usr/lib64 目录中查找需要的 so 文件。如果在安装 FastDFS 时,修改了 make.sh 文件中的 TARGET_PREFIX 参数,则必须创建此软连接

  • 创建网络访问存储服务的软连接

    ln -s /fastdfs/storage/store/data/ /fastdfs/storage/store/data/M00
    

    在上传文件到 FastDFS 后,FastDFS 会返回 group1/M00/00/00/xxxxxxxxxx.xxx。其中 group1 是卷名,在 mod_fastdfs.conf 配置文件中已配置了 url_have_group_name,以保证 URL 解析正确。而其中的 M00 是 FastDFS 保存数据时使用的虚拟目录,需要将这个虚拟目录定 位到真实数据目录上

  • 修改 nginx 配置文件

    cd /usr/local/nginx/conf 
    vi nginx.conf
    
    # Nginx 需要访问 linux 文件系统,必须有文件系统的权限。User root 代表 nginx 访问文件系统的权限是 root 用户权限。如果不开启权限,可能有 404 访问错误。
    user root; 
     server{
     	listen 8888; # storage 配置中,有 http.server_port=8888 的配置信息,必须一 致。配置文件是/etc/fdfs/storaged.conf 
     	server_name localhost; 
     	location ~/group([0-9])/M00{ 
     		ngx_fastdfs_module; 
     		} 
    	}
    
  • 测试 WEB 访问存储服务中的文件
    使用浏览器查看 FastDFS 中保存的文件: http://ip:8888/group1/M00/00/00/x xxxxxx.xxx
    测试上传的文件: group1/M00/00/00/wKgCbltTmv-ASTG2AAAmTx4ns0s172.jpg
    测试 WEB 访问地址: http://ip:8888/group1/M00/00/00/wKgCbltTmv-ASTG2AAAmTx4ns0s172.jpg

Java 客户端 API 简单应用

pom.xml

<dependency> 
	<groupId>cn.bestwu</groupId> 
	<artifactId>fastdfs-client-java</artifactId> 
	<version>1.27</version> 
</dependency> 
<dependency> 
	<groupId>org.apache.commons</groupId> 
	<artifactId>commons-lang3</artifactId> 
	<version>3.4</version> 
</dependency> 
<dependency> 
	<groupId>commons-io</groupId> 
	<artifactId>commons-io</artifactId> 
	<version>2.4</version> 
</dependency>

根据 conf 文件创建客户端

  • conf 配置文件
# 连接超时, 单位是秒 
connect_timeout = 10 
# 网络超时, 单位是秒 
network_timeout = 30 
# 字符集设置 
charset = UTF-8 
# 必须和 tracker server 中的/etc/fdfs/tracker.conf 配置文件中的 http.server_port=8080 配置 一致http.tracker_http_port = 8080 
# tracker server 的访问 IP 和 Port。
tracker_server = ip:22122
  • 代码
package singe; 
import org.csource.common.MyException; 
import org.csource.fastdfs.*; 
import org.junit.Test; 
import java.io.IOException; 
public class TestInitClientByConf { 
	// 配置文件所在位置。 
	private final String configFile = "src/main/resources/test/fdfs_client.conf"; 
	/*** 根据相对路径,直接加载配置文件。 
	* 加载的是 xxx.conf 配置文件。 
	* 默认的加载路径是相对地址。是相对于项目的根开始寻址的。不是相对于 classpath 开始寻址的。 */ 
	@Test 
	public void initClient() throws IOException, MyException { 
	// 使用 conf 配置文件初始化环境。MyException 是 FastDFS 定义的自定义异常,其 处理的就是加载链接超时,网络超时,tracker 服务器列表加载异常等。 
	ClientGlobal.init(configFile);
	// this.initByProperties(); 
	TrackerClient trackerClient = new TrackerClient(); 
	// new TrackerClient(TrackerGlobal.g_tracker_group); 
	// 创建 tracker 服务器的链接对象 
	TrackerServer trackerServer = trackerClient.getConnection(); 
	// 创建 storage 服务器的链接对象 
	StorageServer storageServer = trackerClient.getStoreStorage(trackerServer); 
	// 创建 storage 服务器的客户端操作对象。可以实现文件的读写操作。 
	StorageClient storageClient = new StorageClient(trackerServer, storageServer); 
	System.out.println("TrackerClient : " + trackerClient); 
	System.out.println("TrackerServer : " + trackerServer); 
	System.out.println("StorageServer : " + storageServer); 
	System.out.println("StorageClient : " + storageClient); 
	} 
}

根据 properties 文件创建客户端

  • properties 配置文件
# 连接超时, 单位是秒 
fastdfs.connect_timeout_in_seconds=10 
# 网络超时, 单位是秒 
fastdfs.network_timeout_in_seconds=30 
# 字符集设置 
fastdfs.charset=UTF-8 
# 必须和 tracker server 中的/etc/fdfs/tracker.conf 配置文件中的 http.server_port=8080 配置 一致
fastdfs.http_tracker_http_port=8080 
# tracker server 的访问 IP 和 Port。 
fastdfs.tracker_servers=ip:22122
  • 代码
package singe; 
import org.csource.common.MyException; 
import org.csource.fastdfs.*; 
import org.junit.Test;
import java.io.IOException; 
import java.io.InputStream; 
import java.util.Properties; 
public class TestInitClientByProperties { 
	private final Properties props = new Properties(); 
	/*** 根据 Properties,加载配置文件。 * 加载 properties 配置文件,生成一个 Properties 对象。再实现环境的初始化。 */ 
	@Test public void initClient() throws IOException, MyException { 
		// 使用 Properties 配置文件初始化环境。 
		InputStream in = TestSingle.class.getClassLoader().getResourceAsStream("test/fdfs_client.properties"); 
		props.load(in); 
		ClientGlobal.initByProperties(props); 
		// this.initByProperties(); 
		TrackerClient trackerClient = new TrackerClient(); 
		// new TrackerClient(TrackerGlobal.g_tracker_group); 
		// 创建 tracker 服务器的链接对象 
		TrackerServer trackerServer = trackerClient.getConnection(); 
		// 创建 storage 服务器的链接对象 
		StorageServer storageServer = trackerClient.getStoreStorage(trackerServer); 
		// 创建 storage 服务器的客户端操作对象。可以实现文件的读写操作。 
		StorageClient storageClient = new StorageClient(trackerServer, storageServer); 
		System.out.println("TrackerClient : " + trackerClient); 
		System.out.println("TrackerServer : " + trackerServer); 
		System.out.println("StorageServer : " + storageServer); 
		System.out.println("StorageClient : " + storageClient); 
	} 
}

定义 FastDFS 工具类

package singe; import org.csource.fastdfs.*; 
public class FastDFSClientUtils { // 配置文件所在位置。
	private static final String configFile = "src/main/resources/test/fdfs_client.conf"; 
	private static StorageClient storageClient; 
	static{
		try { 
			// 使用 conf 配置文件初始化环境。就是加载链接超时,网络超时,tracker 服 务器列表等。
			ClientGlobal.init(configFile); 
			// this.initByProperties(); 
			TrackerClient trackerClient = new TrackerClient(); 
			// new TrackerClient(TrackerGlobal.g_tracker_group); 
			// 创建 tracker 服务器的链接对象 
			TrackerServer trackerServer = trackerClient.getConnection(); 
			// 创建 storage 服务器的链接对象 
			StorageServer storageServer = trackerClient.getStoreStorage(trackerServer); 
			// 创建 storage 服务器的客户端操作对象。可以实现文件的读写操作。 
			storageClient = new StorageClient(trackerServer, storageServer); 
		}catch(Exception e){ 
			e.printStackTrace(); 
			throw new ExceptionInInitializerError(e); 
		} 
	}
	public static StorageClient getStorageClient(){ 
		return storageClient; 
	}
	public static void main(String[] args) { 
		System.out.println(getStorageClient()); 
	} 
}

文件上传

package singe; 
import org.csource.common.NameValuePair; 
import org.csource.fastdfs.StorageClient; 
import org.junit.Test;
public class TestFileUpload { 
	@Test 
	public void test() { 
		String fileIds[] = testUpload("testFile", "1.jpg", "jpg"); 
		if(fileIds == null){ 
			System.out.println("文件上传失败!"); 
		}
		System.out.println(fileIds.length); 
		System.out.println("组名/卷名:" + fileIds[0]); 
		System.out.println("路径: " + fileIds[1]); 
	}
	public String[] testUpload(String dirName, String fileName, String fileType){ 
		StorageClient storageClient = FastDFSClientUtils.getStorageClient(); 
		try{ // 要上传的文件的元数据。可以自定义。 
		NameValuePair nvp [] = new NameValuePair[]{ new NameValuePair("filename", fileName) };
		
		/** String[] upload_file(String fileName, String fileExtName, NameValuePair[] metaList) * fileName - 要上传的本地文件,包含路径地址。 * fileExtName - 文件后缀名;可以不传递,也就是传递一个 null。FastDFS 可以自动的在文件名中截取文件类型。 * metaList - 文件的描述元数据。 * 返回的结果是一个字符串数组。长度为 2。0 位置是卷名-group1,1 位置是 文件名-M00/00/00/xxxxxx */ 
		String fileIds[] = storageClient.upload_file(dirName+"/"+fileName, fileType, nvp); 
		return fileIds; 
		}catch(Exception e){ 
			e.printStackTrace(); 
		}
		return null; 
	} 
}

返回结果:
在这里插入图片描述

文件下载

package singe; 
import org.apache.commons.io.IOUtils; 
import org.csource.fastdfs.StorageClient; 
import org.junit.Test; 
import java.io.FileOutputStream; 
import java.util.UUID; 
public class TestFileDownload { 
	@Test 
	public void test(){ 
		testDownload("group1", "M00/00/00/wKhZmV2j38aATN0PAADW-MWxcrw140.jpg"); 
	}
	public void testDownload(String groupName, String remoteFileName){ 
		StorageClient storageClient = FastDFSClientUtils.getStorageClient(); 
		try{ 
			/** byte[] download_file(String groupName, String remoteFileName) * groupName - 要下载的文件的卷名 * remoteFileName - 要下载的文件的远程文件名 * 返回值是要下载的文件的字节数组。 */ 
			byte[] buff = storageClient.download_file(groupName, remoteFileName); 
			/** NameValuePair[] get_metadata(String groupName, String remoteFileName) * groupName - 要查找元数据的文件的卷名 * remoteFileName - 要查找元数据的文件的远程文件名 * 返回值是要查找元数据的文件的元数据数组。 */ 
			NameValuePair[] metaList = storageClient.get_metadata(groupName,remoteFileName); 
			String fileName = null; 
			for(int i = 0; i < metaList.length; i++){ 
				NameValuePair nvp = metaList[i]; 
				if(nvp.getName().equals("fileName")) 
				fileName = nvp.getValue(); 
			}
			IOUtils.write(buff, new FileOutputStream("downloadFile/"+ fileName)); 
			System.out.println("下载完成"); 
		}catch(Exception e){ 
			e.printStackTrace(); 
		} 
	} 
}

删除文件

package singe; 
import org.csource.fastdfs.StorageClient; 
import org.junit.Test; 
public class TestFileDelete { 
	@Test 
	public void test(){ 
		testDelete("group1", "M00/00/00/wKhZmV2j38aATN0PAADW-MWxcrw140.jpg"); 
	}
	public void testDelete(String groupName, String remoteFileName){ 
		StorageClient storageClient = FastDFSClientUtils.getStorageClient(); 
		try{ 
		/** int delete_file(String groupName, String remoteFileName) * groupName - 要删除的文件卷名 * remoteFileName - 要删除的文件的远程文件名 * 返回 0 为成功删除, 其他为删除失败。 */ 
		int flag = storageClient.delete_file(groupName, remoteFileName); 
		System.out.println(flag == 0 ? "删除成功" : "删除失败"); 
		}catch(Exception e){ 
			e.printStackTrace(); 
		} 
	} 
}
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

绿豆蛙给生活加点甜

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值