记一次fastdfs服务器文件同步数据出错的解决

最新推荐文章于 2022-11-12 17:55:09 发布
最新推荐文章于 2022-11-12 17:55:09 发布
阅读量1.2k 收藏 3
点赞数
文章标签： fastdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sunice115/article/details/116937407
版权

1.由于云服务商提供的ssd硬盘坏道，导致fastdfs文件同步操作无法删除文件和rename动作，造成两storage服务文件同步记录不一致。

2.查看storage节点状态信息，通过tracker或者storage都可以，/usr/bin/fdfs_monitor /etc/fdfs/client.conf或者/usr/bin/fdfs_monitor /etc/fdfs/storage.conf,查看节点状态，看哪台机器同步数据日期有问题

3.进入storage服务器下的data目录(storage.conf配置中保存上传数据目录),进入sync同步目录，编辑ip.mark文件，依据你需要同步的时间范围，修改binlog_index和binlog_offset索引

sunice115
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
FastDFS如何解决文件同步延迟问题
Huazie
07-26 1869
FastDFS 利用时间戳 解决文件同步延迟问题
fdfs storage文件同步失败问题
抽象的螺旋
04-07 1402
概述 binlog 文件删除同步失败的文件 tail -f storaged.log查看同步失败的文件,然后查看是那个binlog文件用作同步，然后把binlog中的这个文件记录删除即可。 查看那个binlog在同步 通过fdfs_monitor /etc/fdfs/storage.conf 确定那个storage同步失败(被同步的storage)，然后到正确的storage上（也就是同步文件的storage）的storage上 cd /data/fastdfs/storage/data/sync 从mar
FastDFS不同步怎么破
programwithebay的专栏
08-17 1675
一、背景说明 FastDFS是一款开源的分布式文件系统，具体介绍就不说了，有兴趣的可以自行百度下。 以下是官方的架构图： 一次完整的写交互过程如下： 1、Client向Tracker查询可用的Storage； 2、Tracker随机返回一个Storage； 3、Client向Storage发起写请求； 一次完整的读交互： 1、Client向Tracker查询可用的Storage； 2、Tracker随机返回一个Storage； 3、Client向Storage...
fastdfs选择固定storage节点上传文件（fastdfs同步延时问题解决）
李振伟的博客
10-31 1508
通过上传图片的组件上传成功之后，由于需要回显图片，如果存在延时，会出现图片破裂的情况，所以在这里需要把文件同步的时候调小。另一台只做备份用，这样虽然同步有延时，但是图片回显的问题就可以解决了。修改我们要选择的strage 服务中的 storage.conf中的。按下面方法依然解决不了问题，所以又有了一个想法，可不可以。在fastdfs新加了一台storage服务之后，（此值越小优先级越高，可以为负数）
fdfs常见问题和注意事项
weixin_34162401的博客
05-12 886
为什么80%的码农都做不了架构师？>>> ...
FastDFS配置之常见错误
qq_40907977的博客
12-06 5962
1、 jnydjky@jnydjky:/data/fastdfs/tracker/logs$ cat trackerd.log [2019-12-05 10:21:34] INFO - FastDFS v5.05, base_path=/data/fastdfs/tracker, run_by_group=, run_by_user=, connect_timeout=30s, network_t...
FastDFS问题分析和总结
zollty的专栏
08-30 2439
故障现象 描述： 1、应用方面：Java客户端，上传身份证图片和视频失败，有几次，报错时间大概是从 2018 09-27 22:27:34.815。 客户端错误信息： 2、服务器方面：查看日志，发现上传的 那个storage节点 报错了，报错信息为 ： 无法rename/data/xxxx01.tmp文件到/data/10/00/xxxxxxx.mp4路径 无法rename/data/xxxx02.tmp文件到/data/10/00...
FastDFS同步遇到的问题
Cookie_1030的专栏
10-20 1556
服务器A(192.168.2.10) 服务器B(192.168.2.11) 需求：将A机器上的storage同步到B上 操作： 编辑B机器上的/etc/fdfs/storage.conf文件，修改 tracker_server=192.168.2.10:22122 (需确保B机器到A机器的22122端口是通的) 重启fdfs_storage /etc/init.d/fdfs_storaged restart 重启后，A上/storage目录下的文件会通过tracker服务自动同步到B机..
ERROR - file: /usr/local/src/fastdfs-nginx-module/src/common.c...error info: Permission denied 的解决办法
Spring Boot-Common On With You
08-06 4494
问题概述 在项目开发的过程中使用到了分布式文件系统FastDFS，各项工作准备完成后（防火墙端口、系统配置文件、远程安全组策略等），上传文件时，是正常的，但是通过浏览器访问时出错了 “error info: Permission denied ”，查看FastDFS的tracker_server日志，正常！，查看FastDFS的storage_server日志，正常！查看nginx日...
FastDFS之Storage程序框架
hfty290的专栏
12-20 3087
FastDFS分布式文件系统中有Tracker和Storage两个角色，其中绝大多数功能都是在Storage中实现，包括网络处理、文件上传、下载、同步、磁盘恢复等众多功能，本篇将讲述Storage程序的启动过程，网络处理，磁盘处理，与Tracker通讯，文件同步等过程。
fastdfs 数据同步和迁移
markfengfeng的博客
10-13 4662
最近做了一次fastdfs文件迁移的工作，把操作步骤记录下来，留给后面做迁移的时候参考。 其中有些细节原理尚不清楚，后续有研究再补充。 旧的 fastdfs（110.119.19.20）我们这么命名 tracker_old storage_old 新的 fastdfs（110.119.19.21）我们这么命名 tracker_new storage_new 我们为了不影响旧的 fastdf...
分布式文件系统 - FastDFS 安装部署
笑面依旧的博客
12-29 917
环境： Centos x86_64  0.209 和 0.210 都为tracker 和 storage 192.168.0.209  storage tracker 192.168.0.210  storage tracker 0.209 和 0.210 安装配置类似， 下面以一台为例 1, 安装依赖包，添加fastDFS运行用户 yum install -y zlib z
fastdfs遇到的问题汇总
Brother_Wei的博客
09-28 2010
1、上传文件时错误 错误原因：Tracker服务请求调度Storage服务时错误 Tracker错误日志： file: tracker_mem.c, line: 1535, the format of the file "/data/fast_data/data/storage_sync_timestamp.dat" is invalid, group_name: group1, colums: 5 > 4 解决方案： storage_sync_timestamp.dat文件中数据错误
fastdfs的配置文件tracker.conf、storage.conf、client.conf 讲解
MssGuo的博客
07-26 3487
前言 环境：centos7.9 FastDFS_v5.07 FastDFS的配置文件主要有3个，分别是：tracker.conf、storage.conf、client.conf ，下面将来详细的讲解一下这3个配置文件。 Tracker server的配置文件tracker.conf详解 [root@nginx fdfs]# cd /etc/fdfs/ [root@nginx fdfs]# mv tracker.conf.sample tracker.conf ##先把刚安装完后默认的配置文件
FastDFS 5.02 Storage Server 无法同步，有BUG，请大家及时升级
weixin_34356555的博客
03-03 1426
2019独角兽企业重金招聘Python工程师标准>>> ...
fastDFS安装笔记
最新发布
qq_45691577的博客
11-12 862
解决：我发现/usr/bin目录中并没有fdfs_trackerd，我之前是将它从/usr/local/fastDFS/fastdfs/init.d中拷贝到/usr/bin中的。解决：将fastDFS安装产生的文件删除干净，然后重装，跟着官方文档重装的时候一定不要输入那些git checkout命令！我进行了2种安装方式的对比，一种是不执行图中的那些git checkout指令，一种是执行了 git checkout，后者安装完之后/usr/bin目录中根本找不到。
【FastDFS】初号机
丢失了名字的琥珀川
01-22 206
前言 集合：集合是java中提供的一种容器，可以用来存储多个数据。 区分 集合和数组既然都是容器，它们有啥区别呢？ 数组的长度是固定的。集合的长度是可变的。 数组中存储的是同一类型的元素，可以存储基本数据类型值。集合存储的都是对象。而且对象的类型可以不一致。在开发中一般当对象多的时候，使用集合进行存储。 集合框架 集合按照其存储结构可以分为两大类，分别是单列集合java.util.Coll...
FastDFS是如何解决数据一致性问题的？
Huazie
08-04 881
FastDFS是如何解决数据一致性问题的？FastDFS以简洁高效著称，其轻量级定位以及应用场景决定其不会采用复杂的解决方案。因此 FastDFS放弃强一致性，采用弱一致性和最终一致的做法。
FastDFS文件同步机制分析
Lion_Long的博客
11-12 3419
tracker server及storage server目录及文件结构描述。 介绍FastDFS文件同步：同步日志所在目录、binlog格式、同步规则、Binlog同步过程、tracker_report_thread_entrance及storage_sync_thread_entrance、同步前删除、Storage的最后最早被同步时间详解、 新增节点的同步流程详解、Tracker选择客户端下载文件的storage的规则。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值