go-fastdfs

已于 2023-12-18 14:28:16 修改
阅读量1k 收藏 1
点赞数 1
分类专栏： 中间件 文章标签： docker go-fastdfs
于 2021-01-18 14:28:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21455991/article/details/112779801
版权

go-fastdfs是一个基于http协议的分布式文件系统，它基于大道至简的设计理念，一切从简设计，使得它的运维及扩展变得更加简单，它具有高性能、高可靠、无中心、免维护等优点。

使用文档

安装

  1. 查找镜像
docker search go-fastdfs
  1. 创建挂载目录
mkdir -p /opt/fastdfs_data
  1. 拉取镜像
docker pull sjqzhang/go-fastdfs
  1. 运行容器
docker run -d --restart=always --name gofastdfs01 -v /opt/fastdfs_data:/data -p 8080:8080 -e GO_FASTDFS_DIR=/data sjqzhang/go-fastdfs

  1. 测试访问http://127.0.0.1:8080

    页面效果图如下：

配置

配置信息在主服务器目录 /opt/fastdfs_data/conf/cfg.json 文件中，内容如下

{
	"绑定端号": "端口",
	"addr": ":8080",
	"是否开启https": "默认不开启，如需启开启，请在conf目录中增加证书文件 server.crt 私钥 文件 server.key",
	"enable_https": false,
	"PeerID": "集群内唯一,请使用0-9的单字符，默认自动生成",
	"peer_id": "0",
	"本主机地址": "本机http地址,默认自动生成(注意端口必须与addr中的端口一致），必段为内网，自动生成不为内网请自行修改，下同",
	"host": "http://172.17.0.3:8080",
	"集群": "集群列表,注意为了高可用，IP必须不能是同一个,同一不会自动备份，且不能为127.0.0.1,且必须为内网IP，默认自动生成",
	"peers": ["http://172.17.0.3:8080"],
	"组号": "用于区别不同的集群(上传或下载)与support_group_manage配合使用,带在下载路径中",
	"group": "group1",
	"是否支持按组（集群）管理,主要用途是Nginx支持多集群": "默认支持,不支持时路径为http://10.1.5.4:8080/action,支持时为http://10.1.5.4:8080/group(配置中的group参数)/action,action为动作名，如status,delete,sync等",
	"support_group_manage": true,
	"是否合并小文件": "默认不合并,合并可以解决inode不够用的情况（当前对于小于1M文件）进行合并",
	"enable_merge_small_file": false,
    "允许后缀名": "允许可以上传的文件后缀名，如jpg,jpeg,png等。留空允许所有。",
	"extensions": [],
	"重试同步失败文件的时间": "单位秒",
	"refresh_interval": 1800,
	"是否自动重命名": "默认不自动重命名,使用原文件名",
	"rename_file": false,
	"是否支持web上传,方便调试": "默认支持web上传",
	"enable_web_upload": true,
	"是否支持非日期路径": "默认支持非日期路径,也即支持自定义路径,需要上传文件时指定path",
	"enable_custom_path": true,
	"下载域名": "用于外网下载文件的域名,不包含http://",
	"download_domain": "",
	"场景列表": "当设定后，用户指的场景必项在列表中，默认不做限制(注意：如果想开启场景认功能，格式如下：'场景名:googleauth_secret' 如 default:N7IET373HB2C5M6D ",
	"scenes": [],
	"默认场景": "默认default",
	"default_scene": "default",
	"是否显示目录": "默认显示,方便调试用,上线时请关闭",
	"show_dir": true,
	"邮件配置": "",
	"mail": {
		"user": "abc@163.com",
		"password": "abc",
		"host": "smtp.163.com:25"
	},
	"告警接收邮件列表": "接收人数组",
	"alarm_receivers": [],
	"告警接收URL": "方法post,参数:subject,message",
	"alarm_url": "",
	"下载是否需带token": "真假",
	"download_use_token": false,
	"下载token过期时间": "单位秒",
	"download_token_expire": 600,
	"是否自动修复": "在超过1亿文件时出现性能问题，取消此选项，请手动按天同步，请查看FAQ",
	"auto_repair": true,
	"文件去重算法md5可能存在冲突，默认md5": "sha1|md5",
	"file_sum_arithmetic": "md5",
	"管理ip列表": "用于管理集的ip白名单,",
	"admin_ips": ["127.0.0.1"],
	"是否启用迁移": "默认不启用",
	"enable_migrate": false,
	"文件是否去重": "默认去重",
	"enable_distinct_file": true,
	"是否开启跨站访问": "默认开启",
	"enable_cross_origin": true,
	"是否开启Google认证，实现安全的上传、下载": "默认不开启",
	"enable_google_auth": false,
	"认证url": "当url不为空时生效,注意:普通上传中使用http参数 auth_token 作为认证参数, 在断点续传中通过HTTP头Upload-Metadata中的auth_token作为认证参数,认证流程参考认证架构图",
	"auth_url": "",
	"下载是否认证": "默认不认证(注意此选项是在auth_url不为空的情况下生效)",
	"enable_download_auth": false,
	"默认是否下载": "默认下载",
	"default_download": true,
	"本机是否只读": "默认可读可写",
	"read_only": false,
	"是否开启断点续传": "默认开启",
	"enable_tus": true,
	"同步单一文件超时时间（单位秒）": "默认为0,程序自动计算，在特殊情况下，自已设定",
	"sync_timeout": 0
}

单节点部署默认即可，按需修改相关内容。

集群配置

参考示例配置，不可将此内容copy至正式环境中（注释内容JSON无法读取）

{
	"绑定端号": "端口",
	"addr": ":8080",
	"是否开启https": "默认不开启，如需启开启，请在conf目录中增加证书文件 server.crt 私钥 文件 server.key",
	"enable_https": false,
	"PeerID": "集群内唯一,请使用0-9的单字符，默认自动生成",
	#"peer_id": "0", 
	"本主机地址": "本机http地址,默认自动生成(注意端口必须与addr中的端口一致），必段为内网，自动生成不为内网请自行修改，下同",
	#"host": "http://192.168.3.231:8080",
	"集群": "集群列表,注意为了高可用，IP必须不能是同一个,同一不会自动备份，且不能为127.0.0.1,且必须为内网IP，默认自动生成",
	#"peers": ["http://192.168.3.231:8080","http://192.168.3.232:8080"],
	"组号": "用于区别不同的集群(上传或下载)与support_group_manage配合使用,带在下载路径中",
	#"group": "group1",
	"是否支持按组（集群）管理,主要用途是Nginx支持多集群": "默认支持,不支持时路径为http://10.1.5.4:8080/action,支持时为http://10.1.5.4:8080/group(配置中的group参数)/action,action为动作名，如status,delete,sync等",
	"support_group_manage": true,
	"是否合并小文件": "默认不合并,合并可以解决inode不够用的情况（当前对于小于1M文件）进行合并",
	"enable_merge_small_file": false,
    "允许后缀名": "允许可以上传的文件后缀名，如jpg,jpeg,png等。留空允许所有。",
	"extensions": [],
	"重试同步失败文件的时间": "单位秒",
	"refresh_interval": 1800,
	"是否自动重命名": "默认不自动重命名,使用原文件名",
	"rename_file": false,
	"是否支持web上传,方便调试": "默认支持web上传",
	"enable_web_upload": true,
	"是否支持非日期路径": "默认支持非日期路径,也即支持自定义路径,需要上传文件时指定path",
	"enable_custom_path": true,
	"下载域名": "用于外网下载文件的域名,不包含http://",
	"download_domain": "",
	"场景列表": "当设定后，用户指的场景必项在列表中，默认不做限制(注意：如果想开启场景认功能，格式如下：'场景名:googleauth_secret' 如 default:N7IET373HB2C5M6D ",
	"scenes": [],
	"默认场景": "默认default",
	"default_scene": "default",
	"是否显示目录": "默认显示,方便调试用,上线时请关闭",
	"show_dir": true,
	"邮件配置": "",
	"mail": {
		"user": "abc@163.com",
		"password": "abc",
		"host": "smtp.163.com:25"
	},
	"告警接收邮件列表": "接收人数组",
	"alarm_receivers": [],
	"告警接收URL": "方法post,参数:subject,message",
	"alarm_url": "",
	"下载是否需带token": "真假",
	"download_use_token": false,
	"下载token过期时间": "单位秒",
	"download_token_expire": 600,
	"是否自动修复": "在超过1亿文件时出现性能问题，取消此选项，请手动按天同步，请查看FAQ",
	"auto_repair": true,
	"文件去重算法md5可能存在冲突，默认md5": "sha1|md5",
	"file_sum_arithmetic": "md5",
	"管理ip列表": "用于管理集的ip白名单,",
	#"admin_ips": ["127.0.0.1","192.168.3.231","192.168.3.232"],
	"是否启用迁移": "默认不启用",
	"enable_migrate": false,
	"文件是否去重": "默认去重",
	"enable_distinct_file": true,
	"是否开启跨站访问": "默认开启",
	"enable_cross_origin": true,
	"是否开启Google认证，实现安全的上传、下载": "默认不开启",
	"enable_google_auth": false,
	"认证url": "当url不为空时生效,注意:普通上传中使用http参数 auth_token 作为认证参数, 在断点续传中通过HTTP头Upload-Metadata中的auth_token作为认证参数,认证流程参考认证架构图",
	"auth_url": "",
	"下载是否认证": "默认不认证(注意此选项是在auth_url不为空的情况下生效)",
	"enable_download_auth": false,
	"默认是否下载": "默认下载",
	"default_download": true,
	"本机是否只读": "默认可读可写",
	"read_only": false,
	"是否开启断点续传": "默认开启",
	"enable_tus": true,
	"同步单一文件超时时间（单位秒）": "默认为0,程序自动计算，在特殊情况下，自已设定",
	"sync_timeout": 0
}

重启容器

# 查看运行中的容器
docker ps -a

# 重启容器
docker restart 容器ID

测试集群效果

1. 访问  http://192.168.3.231:8080/
	选择任意一张图片（文件都可）默认参数直接上传，获取到的返回信息如下
	
	{
  "data": {
    "domain": "http://192.168.3.231:8080",
    "md5": "336e2f1058fd004c20b6574e5d3d5d35",
    "mtime": 1610432741,
    "path": "/group1/default/20210112/14/25/1/vlcsnap-2021-01-10-22h09m25s629.png",
    "retcode": 0,
    "retmsg": "",
    "scene": "default",
    "scenes": "default",
    "size": 137846,
    "src": "/group1/default/20210112/14/25/1/vlcsnap-2021-01-10-22h09m25s629.png",
    "url": "http://192.168.3.231:8080/group1/default/20210112/14/25/1/vlcsnap-2021-01-10-22h09m25s629.png?name=vlcsnap-2021-01-10-22h09m25s629.png\u0026download=1"
  },
  "message": "",
  "status": "ok"
}

2. 访问url链接下载文件，将\u0026 转义 &
http://192.168.3.231:8080/group1/default/20210112/14/25/1/vlcsnap-2021-01-10-22h09m25s629.png?name=vlcsnap-2021-01-10-22h09m25s629.png&download=1
	可正常下载文件信息
	
3. 将链接中IP改为集群中另一台服务器IP
http://192.168.3.232:8080/group1/default/20210112/14/25/1/vlcsnap-2021-01-10-22h09m25s629.png?name=vlcsnap-2021-01-10-22h09m25s629.png&download=1
	同样可以正常访问
	

注：如果上传文件为图片格式，download 参数设为 0 即可在浏览器中预览
	设置width & height可设置预览图片大小
http://192.168.3.232:8080/group1/default/20210112/14/25/1/vlcsnap-2021-01-10-22h09m25s629.png?name=vlcsnap-2021-01-10-22h09m25s629.png&download=0&width=100&height=300

go-fastdfs-web

Go-Fastdfs web管理平台

go-fastdfs-web地址

安装

  1. 查找镜像
docker search fastdfsweb
  1. 拉取镜像
docker pull perfree/fastdfsweb
  1. 运行容器
docker run --name fastdfsweb -d -p 8088:8088 perfree/fastdfsweb

配置

测试访问http://127.0.0.1:8088

效果图

芋头PLUS
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
go-fastdfs 与go-fastdfs-web-go 基于docker 构建部署
03-30 277
go-fastdfs-web-go部署使用
【go-fastdfs】go-fastdfs 分布式文件系统搭建
沙漠之鹰的博客
04-07 4524
文章目录 【go-fastdfs】go-fastdfs 分布式文件系统搭建 〇、缘起 一、从头开始：FastDFS 简介 二、主角出场：go-fastdfs (go语言版本的FastDFS) 1.介绍 2.安装 3.配置 4.启动 5.使用 三、数据美化：go-fastdfs-web 监控工具安装 0.介绍 1.安装 2.配置 3.部分截图 四、写在最后：总结 五、友情链接：其他相关文章 【go-...
2024年Go最新一篇文章搞懂FastDfs(全是干货，建议收藏）_fast dfs(2)，万字长文轻松彻底入门Flutter
2401_84910869的博客
05-14 883
注：如果Tracker和Storage是配置在不同的服务器上，那么基础环境要在两个服务器上都安装。
CentOS7安装go-fastdfs1.4.1
superhanyubo的专栏
06-24 831
2.2 同步时间 集群模式下，各个服务器节点的时间是非常重要的，为例防止不必要的麻烦和错误，集群模式下软件安装第一步都要同步时间，所有节点都要执行： 2.3 关闭防火墙 2.4 关闭selinux 2.5 准备安装目录 2.6 配置主机名和免登录 所有节点执行： 192.168.65.136节点执行： 2.7 准备安装文件 需要按照如下方式准备文件，放到192.168.65.136机器指定的目录下：可以将文件放到136的规划目录下，然后分发到其他机器： 三、jdk安装 只需要136节点安装。将jdk-
运维笔记之centos部署Go-FastDfs
weixin_50648794的博客
12-19 931
当前最新版本为1.4.5，但发布的最新版本为1.4.4。
探索Go语言中的高效文件存储解决方案：go-fastdfs-web-go
gitblog_00037的博客
04-23 440
探索Go语言中的高效文件存储解决方案：go-fastdfs-web-go 项目地址:https://gitcode.com/perfree/go-fastdfs-web-go 在软件开发中，文件存储是不可或缺的一环，尤其是在大数据和Web服务领域。go-fastdfs-web-go是一个基于Golang实现的FastDFS的Web管理界面，旨在为开发者提供更加直观、便捷的文件上传、下载及管理功能。...
go-fastdfs client
weixin_38805083的博客
03-30 348
go-fastdfs client 分享一个go-fastdfs client 分享一个go-fastdfs client 调用函数 package utils import ( "github.com/astaxie/beego/httplib" ) type FastDFSClient struct { Req *httplib.BeegoHTTPRequest } func NewFastDFSClient(serverUrl string)*FastDFSClient{ client:=
go-fastDFS 分布式文件系统搭建（实现梳理）
凡江林的博客
07-06 2937
从2022年1月份梳理《MYSQL常用函数（2）——正则相关》至今，已是半年左右的时间，在这段时间里，其实，需要记录的挺多的，因为2月份之后的几个月，着实挺忙的，忙的时候，也就把本该记录的给落下了。既然落下了，要补起来是不可能的，就把记得的给记录下来吧。...............
go-fastdfs 任意文件上传
m0_72372037的博客
01-24 861
go-fastdfs是一个基于http协议的分布式文件系统，存在任意文件上传漏洞，未经身份验证的攻击者可以直接向系统上传任意文件，达到远程执行命令的目的。
关于gunicorn+flask+docker模型的高并发部署
七夜的博客
08-02 629
Gunicorn+Flask+Docker模型结合了Flask的轻量级和灵活性、Gunicorn的高并发处理能力以及Docker的容器化优势，为现代Web应用提供了一种高效、可扩展的部署方式。Flask是一个使用Python编写的轻量级Web应用框架，它易于上手且扩展性强。Flask提供了路由、模板、静态文件处理等功能，并支持通过扩展添加额外的功能，如数据库访问、表单验证等。2.Gunicorn。
Windows使用wsl安装docker-desktop
qq_42168462的博客
08-05 567
Windows使用WSL安装Docker-Desktop
Docker资源隔离的实现策略以及适用场景
xu710263124的博客
08-05 395
docker资源隔离
Docker 环境下使用 Traefik v3 和 MinIO 快速搭建私有化对象存储服务
折腾技术
08-05 430
本篇文章，聊聊 MinIO 的单独使用，以及结合 Traefik 完成私有化 S3 服务的基础搭建。
黑马微服务—Docker
最新发布
weixin_49429082的博客
08-05 505
镜像就是包含了引用程序、程序运行的系统函数库、运行配置等文件的文件包。构建镜像的过程其实就是把上述文件打包的过程。
Docker Remote API未授权访问漏洞
lhdbk______的博客
08-05 123
Docker Remote API未授权访问漏洞
docker+jenkins自动部署项目
weixin_54449574的博客
08-05 543
DevOps是提高软件开发、测试、运维、运营 等各部门的沟通与协作质量的方法和过程，DevOps强调软件开发人员与软件测试、软件运维、质量保障（QA）部 门之间有效的沟通与协作，强调通过自动化的方法去管理软件变更、软件集成，使软件从构建到测试、发布更加快 捷、可靠，最终按时交付软件。DevOps是一套项目从开发到运维的解决方案，而不是具体的一个技术，DevOps需要整合一些列的技术来实现，比如：通过Git拉取代码，通过Mavn的命令进行项目的清理，编译，打包，测试等，通过Docker命令进行镜像构建…
简单的docker学习 第11章 镜像中心
qq_19342829的博客
08-05 520
b站docker学习笔记
Docker数据管理,数据卷,容器服务器数据卷
2301_78327423的博客
08-05 897
Docker镜像由多个只读层叠加而成，启动容器时，Docker会加载只读镜像层并在镜像栈顶部添加一个读写层。如果运行中的容器修改了现有的一个已经存在的文件，那该文件将会从读写层下面的只读层复制到读写层，该文件的只读版本仍然存在，只是已经被读写层中该文件的副本所隐藏，此即“写时复制(COW copy on write)"机制。如果将正在运行中的容器修改生成了新的数据，那么新产生的数据将会被复制到读写层，进行持久化保存，这个读写层也就是容器的工作目录，也为写时复制(COW) 机制。
go-fastdfs漏洞
09-20
go-fastdfs是一个开源的分布式文件系统，被广泛应用于大规模文件存储和传输的场景中。然而，就像其他软件一样，go-fastdfs也存在一些潜在的漏洞。 首先，由于go-fastdfs的设计初衷是快速的文件上传和下载，因此可能在安全性方面存在一些弱点。例如，由于缺乏严格的访问控制机制，未经授权的用户可能能够访问和下载存储在go-fastdfs上的文件。这可能导致敏感信息泄露的风险。 其次，go-fastdfs的文件上传功能可能存在文件类型验证不严格的问题。攻击者可以通过伪装文件类型来上传恶意文件，从而危害系统安全。例如，攻击者可以将具有恶意程序的文件伪装成图片进行上传，一旦用户下载并打开这些文件，就可能被恶意程序攻击。 此外，还有可能存在go-fastdfs的路径遍历漏洞。攻击者可能通过构造特定的请求来绕过路径限制，访问系统中的敏感文件。这可能导致服务器的文件系统被恶意篡改，或者对系统的任意代码执行造成风险。 为了减少这些漏洞的风险，建议用户在使用go-fastdfs时采取以下措施： 1. 定期更新和维护go-fastdfs的最新版本，以确保修复了已知的漏洞和安全问题。 2. 配置严格的访问控制机制，限制用户对文件的访问权限，并禁止未经授权的访问。 3. 对上传的文件进行严格的文件类型验证，确保只有合法的文件类型被上传和下载。 4. 配置防火墙和入侵检测系统，以提高系统的安全性并及时检测到潜在的攻击。 5. 定期进行系统漏洞扫描和安全审计，及时发现并修复潜在的漏洞和安全风险。 总而言之，go-fastdfs作为一个分布式文件系统，虽然存在一些漏洞，但通过采取相应的安全措施，可以有效减少潜在的安全风险。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值