【golang分布式文件系统】go-fastdfs分布式文件系统搭建

LCS-312

已于 2022-11-03 10:02:32 修改

阅读量5.6k

点赞数 3

分类专栏： Golang 文章标签： golang java 运维

于 2020-06-02 15:04:14 首次发布

本文链接：https://blog.csdn.net/weixin_40147410/article/details/106496510

版权

Golang 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

【go-fastdfs】go-fastdfs 分布式文件系统搭建

一、FastDFS简介

go-fastdfs是一个基于http协议的开源的分布式文件系统，它基于大道至简的设计理念，一切从简设计，使得它的运维及扩展变得更加简单，它具有高性能、高可靠、无中心、免维护等优点。它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。
项目地址：https://github.com/happyfish100/fastdfs

二、go-fastdfs (go语言版本的FastDFS)

项目地址：https://github.com/sjqzhang/go-fastdfs
编译版本下载地址：https://github.com/sjqzhang/go-fastdfs/releases

1.文档介绍

中文Wiki地址：https://github.com/sjqzhang/go-fastdfs/blob/master/README-en.md

go-fastdfs是一个基于http协议的分布式文件系统，它基于大道至简的设计理念，一切从简设计，使得它的运维及扩展变得更加简单，它具有高性能、高可靠、无中心、免维护等优点。

支持curl命令上传
支持浏览器上传
支持HTTP下载
支持多机自动同步
支持断点下载
支持小文件自动合并(减少inode占用
支持配置自动生成
支持自监控告警
支持集群文件信息查看
使用通用HTTP协议
无需专用客户端（支持wget,curl等工具）
类fastdfs
高性能（使用leveldb作为kv库）
高可靠（设计极其简单，使用成熟组件）
无中心设计(所有节点都可以同时读写)

优点

无依赖(单一文件）
自动同步
失败自动修复
按天分目录方便维护
支持不同的场景
文件自动去重
支持目录自定义
支持保留原文件名
支持自动生成唯一文件名
支持浏览器上传
支持查看集群文件信息
支持集群监控邮件告警
支持token下载　token=md5(file_md5+timestamp)
运维简单，只有一个角色（不像fastdfs有三个角色Tracker Server,Storage Server,Client），配置自动生成
每个节点对等（简化运维）
所有节点都可以同时读写

部署图

2.安装

1.首先下载官网的编译版本

2.运行可执行文件fileserver,然后就会生成各种需要的配置文件.

3.配置

运行后生成的目录结构

conf文件夹:里面cfg.json是主要的配置文件,里面配置端口号、集群、外网访问url等。

需要注意的是配置文件中peers参数会自动生成一个本地主机ip,但还是需要配置增加一个内网ip.

不然使用api时会报以下信息:

Can only be called by the cluster ip or 127.0.0.1 or admin_ips(cfg.json),current ip:192.168.88.1

files文件夹:是图片上传以后保存的路径,默认是按日期划分,也可以指定路径。
log文件夹:是上传信息和运行的日志信息。
static文件夹:是放置一些前端静态页面xml文件。
data文件夹:里面是一些上传的后的图片信息记录保存在ldb格式文件,如文件的md5值,上传后的路径,时间戳,Szie大小等.

三、启动服务器

配置完cfg.json后直接运行可执行文件fileserver,运行成功后会显示如下内容:

Listen on:8080

运行成功后可按以下三种上传方式进行测试：

命令上传

curl -F file=@http-index-fs http://10.1.xx.60:8080/upload

WEB上传（浏览器打开）

http://yourserver ip:8080/upload.html 注意：不要使用127.0.0.1上传

代码上传(选项参阅浏览器上传)

golang版本

package main

import (

"fmt"

"github.com/astaxie/beego/httplib"

)

func main() {

var obj interface{}

req:=httplib.Post("http://10.1.5.9:8080/upload")

req.PostFile("file","filename")//注意不是全路径

req.Param("output","json")

req.Param("scene","")

req.Param("path","")

req.ToJSON(&obj)

fmt.Print(obj)

}

上传成功后会返回以下信息:

{

"url":"http://192.168.88.132:8080/group1/test/企业微信截图_15616176241551.png",

"md5":"baa10e8600a47f2aa0f8c2c926cfe409",

"path":"/group1/test/企业微信截图_15616176241551.png",

"domain":"http://192.168.88.132:8080",

"scene":"default",

"size":79491,

"mtime":1561619383,

"scenes":"default",

"retmsg":"",

"retcode":0,

"src":"/group1/test/企业微信截图_15616176241551.png"

}

四、API说明

一、统一使用POST请求

二、返回格式统一为json

　　格式如下

{

"status":"ok",

"message":"",

"data":{}

}

二、url中的group只有在support_group_manage设置为true才有。

例如：

http://10.1.5.9:8080/group/reload

默认：

http://10.1.5.9:8080/reload

说明：url中的group为cfg.json中的group参数值。

1.配置管理API

http://192.168.88.132:8080/reload?action=set&cfg=addr

参数：

参数名	类型	描述
action	string	set修改参数,get获取参数
cfg	string	配置文件参数参数名称与action=set配合完成参数设置

返回参数如下:

{

"data": {

"addr": ":8080",

"admin_ips": [

"127.0.0.1"

],

"alarm_receivers": [],

"alarm_url": "",

"auth_url": "",

"auto_repair": true,

"default_download": true,

"default_scene": "default",

"download_domain": "",

"download_token_expire": 600,

"download_use_token": false,

"enable_cross_origin": true,

"enable_custom_path": true,

"enable_distinct_file": true,

"enable_download_auth": false,

"enable_google_auth": false,

"enable_merge_small_file": false,

"enable_migrate": false,

"enable_tus": true,

"enable_web_upload": true,

"extensions": [],

"file_sum_arithmetic": "md5",

"group": "group1",

"host": "http://192.168.88.132:8080",

"mail": {

"host": "smtp.163.com:25",

"password": "abc",

"user": "abc@163.com"

},

"peer_id": "1",

"peers": [

"http://192.168.88.1"

],

"queue_size": 10000,

"read_only": false,

"refresh_interval": 1800,

"rename_file": false,

"scenes": [],

"show_dir": true,

"support_group_manage": false

},

"message": "",

"status": "ok"

}

2.文件统计信息API

http://192.168.88.132:8080/stat
返回参数如下:

{

"data": [

{

"date": "20190625",

"fileCount": 3,

"totalSize": 94210

},

{

"date": "20190627",

"fileCount": 0,

"totalSize": 0

},

{

"date": "all",

"fileCount": 3,

"totalSize": 94210

}

],

"message": "",

"status": "ok"

}

3.系统状态信息API

http://192.168.88.132:8080/status
返回参数如下:

{

"data": {

"Fs.AutoRepair": true,

"Fs.FileStats": [

{

"date": "20190625",

"fileCount": 3,

"totalSize": 94210

},

{

"date": "20190627",

"fileCount": 0,

"totalSize": 0

},

{

"date": "all",

"fileCount": 3,

"totalSize": 94210

}

],

"Fs.Local": "http://192.168.88.132:8080",

"Fs.Peers": [

"http://192.168.88.1"

],

"Fs.QueueFileLog": 0,

"Fs.QueueFromPeers": 0,

"Fs.QueueToPeers": 0,

"Fs.RefreshInterval": 1800,

"Fs.ShowDir": true,

"Sys.Alloc": 47888528,

"Sys.Frees": 7989,

"Sys.GCCPUFraction": 0.000016509381835168312,

"Sys.GCSys": 2977792,

"Sys.HeapAlloc": 47888528,

"Sys.HeapObjects": 7580,

"Sys.NumCpu": 4,

"Sys.NumGC": 15,

"Sys.NumGoroutine": 437,

"Sys.TotalAlloc": 90639280

},

"message": "",

"status": "ok"

}

4.文件上传API

http://192.168.88.132:8080/upload
参数：

参数名	类型	描述
file	string	上传的文件
scene	string	默认default
path	string	自定义存储路径
output	string	输出格式默认json
auth_token	string	非必须,配置文件设置是否必须

返回参数如下:

{

"url":"http://192.168.88.132:8080/group1/test/企业微信截图_15616176241551.png",

"md5":"baa10e8600a47f2aa0f8c2c926cfe409",

"path":"/group1/test/企业微信截图_15616176241551.png",

"domain":"http://192.168.88.132:8080",

"scene":"default",

"size":79491,

"mtime":1561619383,

"scenes":"default",

"retmsg":"",

"retcode":0,

"src":"/group1/test/企业微信截图_15616176241551.png"

}

5.文件删除

http://192.168.88.132:8080/delete?md5=
参数：

参数名	类型	描述
md5	string	图片的MD5值与Path二选一
path	string	文件上传后返回的路径,与MD5值二选一

说明：md5或path都是上传文件时返回的信息，要以json方式返回才能看到（参阅浏览器上传）
返回参数:

{

"data": null,

"message": "remove success",

"status": "ok"

}

6.获取文件信息

http://192.168.88.132:8080/get_file_info?md5=
参数：

参数名	类型	描述
md5	string	图片的MD5值与Path二选一
path	string	文件上传后返回的路径,与MD5值二选一

说明：md5或path都是上传文件时返回的信息，要以json方式返回才能看到（参阅浏览器上传）
返回参数:

{

"data": {

"md5": "8fe6dcd07da307ac3fd128aedccd2e45",

"name": "企业微信截图_15613392198494.png",

"offset": -1,

"path": "files/test",

"peers": [

"http://192.168.88.132:8080"

],

"rename": "",

"scene": "default",

"size": 18866,

"timeStamp": 1561623822

},

"message": "",

"status": "ok"

}

7.搜索文件信息

http://192.168.88.132:8080/search?md5=
参数：

参数名	类型	描述
md5	string	图片的MD5值与Path二选一
path	string	文件上传后返回的路径,与MD5值二选一

说明：md5或path都是上传文件时返回的信息，要以json方式返回才能看到（参阅浏览器上传）
返回参数:

{

"data": [

{

"md5": "d41d8cd98f00b204e9800998ecf8427e",

"name": "企业微信截图_15613394634070.png",

"offset": -1,

"path": "files/test",

"peers": [

"http://192.168.88.132:8080"

],

"rename": "",

"scene": "default",

"size": 0,

"timeStamp": 1561624299

},

{

"md5": "794a1079f1cbfbacc4c4404d59ce1917",

"name": "企业微信截图_15613392903775.png",

"offset": -1,

"path": "files/test",

"peers": [

"http://192.168.88.132:8080"

],

"rename": "",

"scene": "default",

"size": 35224,

"timeStamp": 1561457713

},

{

"md5": "8fe6dcd07da307ac3fd128aedccd2e45",

"name": "企业微信截图_15613392198494.png",

"offset": -1,

"path": "files/default/20190627/18/00/1",

"peers": [

"http://192.168.88.132:8080"

],

"rename": "",

"scene": "default",

"size": 18866,

"timeStamp": 1561629630

}

],

"message": "",

"status": "ok"

}

8.获取文件列表

http://192.168.88.132:8080/list_dir?dir=test
参数：

参数名	类型	描述
dir	string	文件夹名字

返回参数:

{

"data": [

{

"is_dir": false,

"md5": "6ce2b43b9ffd3237a30aeac2a88e355f",

"mtime": 1561457713,

"name": "企业微信截图_15613392903775.png",

"path": "test",

"size": 35224

},

{

"is_dir": false,

"md5": "37ea6cda16362a3c4af86ba8614dde0c",

"mtime": 1561624299,

"name": "企业微信截图_15613394634070.png",

"path": "test",

"size": 0

}

],

"message": "",

"status": "ok"

}

9.同步文件

http://192.168.88.132:8080/sync?date=20160502&force=1
参数：

参数名	类型	描述
date	string	日期,格式为20160502
force	int	1.表示是否强制同步当天所有(性能差)，0.表示只同步失败的文件

返回参数:

{

"data": null,

"message": "require paramete date \u0026force , ?date=20181230",

"status": "fail"

}

五.管理后台系统：go-fastdfs-web

项目地址：https://github.com/perfree/go-fastdfs-web
各打包版本下载地址：https://github.com/perfree/go-fastdfs-web/releases

0.介绍

go-fastdfs在官方文档中有介绍为了方便对文件的监控是支持Web端后台管理系统.

1.安装

到官网地址https://github.com/perfree/go-fastdfs-web/releases下载所需要的版本

首先我们来查看目录结构:

config文件夹:主要的一些配置文件信息,如端口号等。
log文件夹:日志信息文件。
db文件夹:里面是存储一些fastDFS的设置信息,如文件系统部署机器的ip,集群,登录用户名等信息。

启动

使用管理脚本启动,在使用脚本启动时遇到因为编码问题找不到Shell脚本解析器,使用以下方式解决编码问题,并使用脚本运行成功.

sed -i 's/\r$//' goFastDfsWeb.sh 编码设置

./goFastDfsWeb.sh start 脚本运行

Start go-fastdfs-web.jar success... 运行成功信息

2.登录

启动后我们可以直接登录管理后台系统 http://youserver_ip:8088,默认端口是8088，也可以在配置文件中设置,登录后会进入配置信息界面,如下。

按自己的go-fastDFS配置文件的信息,填写并设置用户名和密码登入。

登入以后可以再管理系统中可以批量上传、删除、对集群的管理等操作。

六、常见问题说明

1.如何上传文件夹？

DIR=log && ls DIR -F file=@$DIR/{} http://192.168.88.132:8080/upload
上面命令的log为要上传的目录，如果代码上传就是简单的循环上传就ＯＫ。

2.如何缩放图片？

在下载url中加入width各height参数
例如：http://192.168.88.132:8080/group1/test/15613392198494.png?download=0&width=100&height=100
特明说明是：如果要等比例缩放，请将width或height设为０

3.如何在浏览器中直接显示图片？

在下载url中加入download=0参数
例如：http://192.168.88.132:8080/group1/test/15613392198494.png?download=0

4.Docker如何部署？

步骤：
方式一、
一、构建镜像
docker build . -t fastdfs
二、运行容器（使用环境变量 GO_FASTDFS_DIR 指向存储目录。）
docker run –name fastdfs -v /data/fastdfs_data:/data -e GO_FASTDFS_DIR=/data fastdfs
方式二、
一、拉取镜像
docker pull sjqzhang/go-fastdfs
二、运行容器
docker run –name fastdfs -v /data/fastdfs_data:/data -e GO_FASTDFS_DIR=/data fastdfs

LCS-312

关注

3
点赞
踩
18

收藏

觉得还不错? 一键收藏
打赏
0
评论
【golang分布式文件系统】go-fastdfs分布式文件系统搭建

###一、FastDFS简介 go-fastdfs是一个基于http协议的开源的分布式文件系统，它基于大道至简的设计理念，一切从简设计，使得它的运维及扩展变得更加简单，它具有高性能、高可靠、无中心、免维护等优点。它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。项目地址：https://github.com/happyfish100/fastdfs ###二、go-fastdfs (go语言版本的FastDFS) 项目地址：https://github.com/sjqzhang...
复制链接

扫一扫