2015年06月_xiaofei0859

12月 11月 10月 08月 07月 06月 05月 03月 01月

转载 FastDFS 5.04之IO读事件空转导致CPU空转

在与同事测试FastDFS过程中发现CPU有异常波动的情况，八核心CPU在系统使用同时达到%60以上，不免诧异，遂对代码进行排查，发现storage有如下两个问题：1）CPU短暂地飙升2）特定的情况下，可以导致CPU永久飙升，直到停止程序这两个问题都是由于IO读事件空转导致。IO读事件空转也就是epoll触发了一个读事件，调用相应地处理函数，而该处理函数什么事情也不

2015-06-12 15:14:49 1412

转载 FastDFS合并存储原理分析

FastDFS合并存储原理分析基于FastDFS 5.03/5.04 一、合并存储简介在处理海量小文件问题上，文件系统处理性能会受到显著的影响，在读写次数与吞吐量这两个指标上会有不少的下降。主要需要面对如下几个问题：1）元数据管理低效，磁盘文件系统中，目录项(dentry)、索引节点(inode)和数据(data)保存在存

2015-06-12 15:12:17 4066

转载 FastDFS之Tracker-Leader选择和tracker server间通信

FastDFS之Tracker-Leader选择基于FastDFS 5.03/5.04 一、Tracker-Leader概述在FastDFS之中，可以任意配置多个Tracker，在运行过程中会选择其中一个作为Leader，由该Leader执行一些唯一性的操作。在早期版本中Tracker-Leader有两个作用，分别是：为新加入的Storage分配一

2015-06-12 15:11:22 2721

转载 FastDFS之合并存储缺陷导致数据丢失或错误

FastDFS之合并存储缺陷导致数据丢失或错误基于FastDFS 5.03/5.04 一、问题描述问题的关键在于Trunk-Server上，Trunk-Server实现空间的分配，每一次的空间分配都记录到Trunk-Binlog文件之中，并且定期（每秒）将该文件的更新同步给组内的其他Storage服务器。问题就是若某种情况下Trun

2015-06-12 15:10:07 4071

转载 FastDFS之磁盘恢复过程

FastDFS之磁盘恢复过程基于FastDFS 5.03/5.042014-12-19 一、磁盘恢复概述顾名思义，磁盘恢复也就是一台服务器的某个磁盘坏掉，换了一个新的硬盘，然后将旧磁盘本应该有的数据拷贝到新硬盘的过程。FastDFS原生支持该过程，可以自动检测，并完成。FastDFS推荐的方式是一个磁盘挂载成一个Store-

2015-06-12 15:08:50 2408

转载 FastDFS之Binlog同步

FastDFS之Binlog同步基于FastDFS 5.03/5.042014-12-20 一、Binlog同步概述 FastDFS中为了维护文件的多个副本，会在同组的Storage之间互相同步文件，也就是一个备份过程，若一组有三台机器，那么互相备份后，一个文件就有三个副本。本篇将主要描述Binlog同步的相关概念，与同步

2015-06-12 15:07:37 2661 1

转载 FastDFS之添加机器同步

FastDFS之添加机器同步基于FastDFS 5.03/5.042014-12-19 一、添加机器同步概述添加机器同步叫做源同步，简单说就是从组内现有的一台机器上推送历史数据到新机器的过程。每次部署集群，源同步是必定要发生的，可能你并没有注意。比如，部署一组三台机器，首次启动第一台机器时是直接添加到组内，而后面的机器都要进

2015-06-12 15:06:47 3803

转载 FastDFS之Storage程序框架

FastDFS之Storage程序框架基于FastDFS 5.03/5.042014-12-19 一、概述 FastDFS分布式文件系统中有Tracker和Storage两个角色，其中绝大多数功能都是在Storage中实现，包括网络处理、文件上传、下载、同步、磁盘恢复等众多功能，本篇将讲述Storage程序的启动过程，网络处理

2015-06-12 15:05:45 1169

转载 FastDFS之客户端与Tracker通讯

FastDFS之客户端与Tracker通讯基于FastDFS 5.03/5.042014-12-19 一、概述客户端大部分的操作过程都是要先查询Tracker，从Tracker返回具体操作的StorageIP，然后连接该StorageIP，执行具体的操作。本篇将主要介绍三种类型的客户端操作：Upload、Download、D

2015-06-12 15:04:47 2006 1