fastdfs binlog同步BUG

最新推荐文章于 2024-08-29 15:58:40 发布
最新推荐文章于 2024-08-29 15:58:40 发布
阅读量144 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_34200628/article/details/85140952
版权

今天在排查问题时，在fastdfs log里发现了几下错误日志

从日志信息上来看，文件损坏了，咨询了余庆大师，原来是一个BUG。

现状：客户端上传了一个文件到一组中的一个storage里，但发现另一个storage里不存在，复制不成功。

解决：通过重启storage后得以解决。

注：版本为V2.0.8（余庆大师说，升级到最新版本该BUG已修复）

weixin_34200628
关注
【运维实战】1.FastDFS分布式的文件存储系统入门介绍与实践
WeiyiGeek 唯一极客IT知识分享
11-10 626
本章目录0x00 基础介绍0.前言1.简介2.特性3.架构Tracker ServerStorage ServerClient4.存储策略5.过程剖析文件上传 - Upload文件下载 - Download文件访问 - HTTP文件同步 - Sync6.功能比对7.参考来源0x01 FastDFS 安装使用1.Linux 安装1.1) CentOS 单机部署 FastDF...
干货阿里巴巴 开源软件列表
科技D人生
06-01 9304
阿里的开源项目很多，这也跟@淘宝正明的开源态度密不可分。有很多重量级的项目，例如LVS、Tengine，或者很有实践价值的中间件，今天小编为大家汇总了阿里开源的项目，快来看看吧！ 服务框架 Dubbo Dubbo 是阿里巴巴公司开源的一个高性能优秀的服务框架，使得应用可通过高性能的 RPC 实现服务的输出和输入功能，可以和 Spring框架无缝集成。 JDBC连接
fdfs storage文件同步失败问题
抽象的螺旋
04-07 1509
概述 binlog 文件删除同步失败的文件 tail -f storaged.log查看同步失败的文件,然后查看是那个binlog文件用作同步，然后把binlog中的这个文件记录删除即可。 查看那个binlog在同步 通过fdfs_monitor /etc/fdfs/storage.conf 确定那个storage同步失败(被同步的storage)，然后到正确的storage上（也就是同步文件的storage）的storage上 cd /data/fastdfs/storage/data/sync 从mar
fastdfs报错：file: ../common/fdfs_global.c, line: 52, the format of filename XXX is invalid
CoreCmd的博客
01-28 1983
文章已同步到个人博客：http://www.tianshaojiao.com/?p=2010 在使用fastdfs作为文件服务器时，上传文件成功后，访问时报如下错误： file: ../common/fdfs_global.c, line: 52, the format of filename "fserver1/M00/00/00/wKgAo2ASdpaAQWN6AABaAkb2F80722.png" is invalid 这里需要修改一下： /etc/fdfs/mod_fastdfs.conf
FastDFS使用中的几个常见问题
Huazie
07-19 1905
FastDSF使用中的几个常见问题
对fastdfs 文件清单进行检查，打印无效的文件
weixin_30746117的博客
04-08 165
对fastdfs 文件清单进行检查，打印无效的文件2017年12月12日 18:37:18 守望dfdfdf 阅读数：281 标签： fastdfssftpmysql 更多个人分类： 工作 问题编辑版权声明：本文为博主原创文章，转载请注明文章链接。 https://blog.csdn.net/xiaoanzi123/article/details/78752333需求说明：写程序 获取...
分布式文件系统FastDFS详解
HelloWorld搬运工
03-18 2723
01 序 FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器...
FastCFS分布式文件系统 v5.2.0.zip
03-21
FastCFS分布式文件系统 v5.2.0.zip
数据库-MySQL面试题系列 001
Code365
06-24 978
（RC和RR级别工作）InnoDB的MVCC,是通过在每行记录后面保存系统版本号(可以理解为事务的ID)，每开始一个新的事务，系统版本号就会自动递增，事务开始时刻的系统版本号会作为事务的ID。哈希索引用索引列的值计算该值的hashCode，然后在hashCode相应的位置存执该值所在行数据的物理位置，因为使用散列算法，因此访问速度非常快，但是一个值只能对应一个hashCode，而且是散列的分布方式，因此哈希索引不支持范围查找和排序的功能。数据库中的所有记录，都会被查询出来，载入到 JVM 的内存中。
MySQL篇
weixin_42595331的博客
08-18 1143
大多数情况下，这种写法是没有问题的，因为结果集合是可以控制的。Aerospike作为一个大容量的NoSql解决方案，适合对容量要求比较大，QPS相对低一些的场景，主要用在广告行业，个性化推荐厂告是建立在了和掌握消费者独特的偏好和习性的基础之上，对消费者的购买需求做出准确的预测或引导，在合适的位置、合适的时间，以合适的形式向消费者呈现与其需求高度吻合的广告，以此来促进用户的消费行为。性能优越千万级别的文档对象，近10G的数据，对有索引的ID的查询 不会比mysql慢，而对非索引字段的查询，则是全面胜出。
fastdfs支持同步
07-28
文件系统支持同步和安全写入功能，支持统计信息同步功能
淘宝服务端高并发分布式架构演进之路
悦分享
09-30 1777
分库：就是一个数据库分成多个数据库，部署到不同机器。分表：就是一个数据库表分成多个表。所谓 MySQL 主从，就是建立两个完全一样的数据库，一个是主库，一个是从库，主库对外提供读写的操作，从库对外提供读的操作。为什么使用 MySQL 主从?对于数据库单机部署，在 4 核 8G 的机器上运行 MySQL 5.7 时，大概可以支撑 500 的 TPS 和 10000 的 QPS，当遇到一些活动时，查询流量骤然，就需要进行主从分离。
FastDFS安装运维过程中的各种异常汇总
luckykapok918的专栏
09-26 8441
1.不能上传文件到storage：, errno: 113, error info: No route to host [2018-09-26 05:18:14] ERROR - file: connection_pool.c, line: 130, connect to 10.15.24.109:23000 fail, errno: 113, error info: No route to h...
fastdfs 错误日志记录及处理
热门推荐
阿索的专栏
04-03 1万+
1、 ERROR - file: /usr/local/fastdfs-nginx-module/src/common.c, line: 103, section: group1, you must set parameter: group_name! 该错误的是在使用场景为：一台机器部署两个storage时发生的， 一台机器上有连个storage，即有两个group，此时需要在f...
FastDFS集群同步机制
最新发布
浅知拙见，欢迎指正
08-29 4040
答案：同步线程进行storage同步时，会先读取对方的.mark同步文件，其中包含该storage的同步记录，其中binlog_offset字段记录了上一次同步binlog的位置。答：源storage写入文件后记录该操作到binlog文件，用操作符的大小写区分该操作是源文件操作还是副本文件操作，源storage的监听线程（多个）捕捉到新记录，4.已有A、B、C三个storage，我现在上传一个文件到A，然后发起请求下载，会不会出现从B请求下载，但此时B没有同步文件，导致下载失败的情况？
FastDFS 5.02 Storage Server 无法同步，有BUG，请大家及时升级
weixin_34356555的博客
03-03 1448
2019独角兽企业重金招聘Python工程师标准>>> ...
FastDFS同步遇到的问题
Cookie_1030的专栏
10-20 1666
服务器A(192.168.2.10) 服务器B(192.168.2.11) 需求：将A机器上的storage同步到B上 操作： 编辑B机器上的/etc/fdfs/storage.conf文件，修改 tracker_server=192.168.2.10:22122 (需确保B机器到A机器的22122端口是通的) 重启fdfs_storage /etc/init.d/fdfs_storaged restart 重启后，A上/storage目录下的文件会通过tracker服务自动同步到B机..
FastDFS文件同步机制简介
Huazie
07-23 1774
FastDFS 文件同步机制
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值