- 博客(37)
- 收藏
- 关注
RSS订阅原创 FastCFS V5.3发布，支持IPv6和bug修复
FastCFS发布了V5.1、V5.2和V5.3，这3个版本主要改进：支持IPv6、bug修复和几个小改进。
2024-03-20 08:57:27
282
原创 FastDFS V6.11发布，支持IPv6
分布式文件系统FastDFS V6.11发布，主要改进：支持IPv6以及修复了双IP方式支持NAT网络的问题。
2023-12-13 15:39:46
553
原创 FastCFS V5.0发布，原生支持RDMA
FastCFS 5.0使用ibverbs原生方式适配了RDMA网络，可以充分发挥RDMA网络的低延迟和高吞吐特性。
2023-11-22 10:48:12
127
原创 FastCFS V4.3发布，小改进和bug修复
高性能分布式文件系统FastCFS 4.3发布，主要包含2个小改进和7个bug修复。项目托管在github和gitee，欢迎大家测试和使用。
2023-08-07 10:30:21
122
原创 FastCFS V4.0发布，支持单机PB级存储
FastCFS V4.0发布，主要改进：faststore引入存储插件，存储节点以有限内存（如32GB）支持上百TB的存储空间。
2023-06-05 09:09:41
255
原创 基于FastCFS的NFS搭建及常见问题排查
通过 POSIX 兼容性测试的v3.7发布后，FastCFS完全可以作为NFS的后端存储，本文着重介绍FastCFS作为后端存储的NFS搭建及常见问题排查。
2023-01-27 10:05:29
456
1
原创 FastCFS v3.7.1发布，支持用户附加组
FastCFS v3.7.1发布，支持用户附加组，完全符合POSIX标准，解决了在FastCFS的fuse client上跑NFS可能碰到的访问权限问题。
2023-01-16 09:46:16
132
原创 FastCFS在eRDMA与传统网络环境下对比测试分享
只有一组3副本服务器的情况下，FastCFS 8并发随机读超过11万IOPS，达到了生产环境数据库的磁盘IO性能要求。在配备NVMe SSD及RDMA网络的情况下，FastCFS完全可以做到低延迟和高吞吐，满足高性能场景下的文件读写性能要求。
2022-12-05 10:38:43
569
原创 FastCFS 3.7.0 发布，通过 POSIX 兼容性测试
FastCFS 3.7.0 发布，主要通过了 POSIX 兼容性测试以及修复了 7 个 bug，FastCFS 的稳定性进一步提升。
2022-11-22 10:31:28
192
原创 FastCFS实战半年成长记
今年5月份A公司对FastCFS进行了严格细致的测试，促进了FastCFS在可靠性、稳定性和性能方面的显著提升，为此FastCFS在半年时间内发布了6个版本。
2022-10-11 16:52:41
604
原创 FastCFS亿级小文件存储案例分享
近期一家金融企业使用FastCFS存储CVS格式的账单数据，目前文件数超过一亿，还在持续增长中。。。该用户开启了FastDIR的存储引擎插件，实现秒级重启并且显著降低内存占用。
2022-10-09 10:13:41
424
原创 FastDFS V6.09 发布，整合网络框架 libserverframe
FastDFS V6.09 发布，整合网络框架 libserverframe以及其他两项小改进。
2022-09-15 11:09:11
999
1
原创 FastCFS v3.6发布，文件读写性能大幅提升
FastCFS v3.6发布，文件读写性能大幅提升，尤其顺序写取得了突破，2个fio并发线程即可把3gb网络带宽打满。
2022-09-08 07:54:17
199
原创 FastCFS V3.5.1发布，写入数据过半数自适应
FastCFS V3.5.1发布，主要支持两副本写入数据过半数自适应模式：如果两个节点都可用，则采用过半数确认机制，否则写入一个节点即可。
2022-08-16 10:36:21
136
原创 FastCFS数据一致性配置和实践
对于访问量较大的企业，可以直接使用三副本，否则通常会使用两副本。三副本天然满足数据强一致性要求，对于两副本需要特别配置和运维。
2022-07-26 21:28:27
325
1
原创 FastCFS V3.5 发布，支持多数派数据复制
FastCFS v3.5主要完成了异常情况下保证数据一致性的改进：数据提交采用多数派确认机制保证在高负载等不稳定情况下数据一致性和可靠性。
2022-07-26 10:33:36
118
原创 分布式文件系统FastCFS里程碑版本V3.3发布
FastCFS V3.3是一个里程碑版本，正常重启和kill -9强杀，系统的稳定性和数据一致性，均得到了充分测试和保障，欢迎大家体验。
2022-04-25 09:38:11
199
原创 C/C++中如何禁用Linux文件预读和缓存机制
本文主要介绍了Linux下两种方法禁用文件预读和缓存机制的C/C++编程方法，供有需要的朋友参考。
2022-04-24 19:27:42
786
原创 FastCFS POSIX API简介
出于简单易用和性能考虑，FastCFS V3.2全面支持POSIX API，包括 open、read、write、close之类的系统调用API和fopen、fread、fwrite、fclose之类的C API，并且提供了实验性的LD_PRELOAD机制。
2022-03-10 10:31:31
614
原创 高性能大容量分布式目录服务FastDIR简介
作为分布式文件系统FastCFS核心组件的FastDIR是一款高性能大容量分布式目录服务，本文将为你揭秘其技术要点。
2022-01-20 16:06:33
2171
原创 高性能分布式文件系统FastCFS V3.1发布
FastCFS V3.1主要对核心组件FastDIR进行改进，实现了LRU淘汰算法，以有限内存支持海量文件。
2022-01-14 09:41:38
268
原创 FastCFS V3.0发布，支持百亿级海量文件
FastCFS 3.0主要改进：核心组件FastDIR通过插件方式实现数据存储引擎，单机以有限内存（如64GB）支持100亿级的海量文件。
2021-12-28 12:09:28
438
原创 FastCFS架构之连接篇
上一篇文章讲到了FastCFS核心组件faststore的架构及特点，大家可能有些蒙圈，这次补上FastCFS各个模块之间的关系说明。老规矩，上图为敬： FastCFS的两大核心组件 faststore 和 fastDIR相互独立，通过clien端封装的file api library将二者连接起来。这种做法有两点好处：1. faststore 和 fastDIR不直接依赖，降低服务端复杂性；2. 如果不需要使用fastDIR提供的元数据服务，可以直接使用 faststore api...
2021-07-18 18:33:18
459
原创 FastCFS之连接管理
昨天刚发布了FastCFS V1.3.0（注：转发FastCFS微信公众号以前的文章，FastCFS目前版本为V2.3.0），修复了4个稳定性相关bug，重构了客户端连接管理，实现了更优雅的failover机制，以及更高的读写性能，欢迎大家测试和使用。今天着重向大家介绍FastCFS的连接管理机制。 FastCFS一开始就使用libfastcommon提供的连接池来管理连接。使用连接池的好处是不用每次请求都新建连接，通过池化技术实现了连接复用，最小化建连开销。只有底层的连接池还不够，...
2021-07-18 18:25:48
231
原创 高性能分布式文件系统FastCFS V2.3.0发布
FastCFS V2.3.0发布，主要改进如下： 1. auth server以主备方式支持多节点，避免单点； 2. leader/master选举/切换引入超时机制，选举时长可控； 3. 网络通信相关改进： 1）握手失败，server端主动断开连接； 2）cluster内部通信server端超时控制； 3）调整网络通信超时默认值（连接超时由10秒调整为2秒，收发数据超时由30秒调整为10秒）。友情提示：配置文件中的 section ...
2021-07-08 12:56:39
256
原创 FastCFS性能碾压Ceph之技术揭秘
FastCFS刚发布了版本2.2.0，IOPS全面超越Ceph：顺序写是Ceph的6.x倍，顺序读是Ceph的2.x倍，随机写大约是Ceph的2倍。具体的性能测试数据参见：https://gitee.com/fastdfs100/FastCFS/blob/master/docs/benchmark.md。相信有很多朋友会好奇FastCFS是如何做到的，接下来将为你揭晓FastCFSIOPS完胜Ceph的秘诀。 我不打算探讨架构和实现细节上的差异，直接为大家揭晓有效提升IOPS的关键做法。...
2021-06-24 10:25:29
773
原创 FastCFS V2.2.0发布，性能全面超越Ceph！
历经大约一个月的研发，FastCFS V2.2.0 发布，主要改进如下： 1. [fstore] 使用libaio实现异步读，随机读性能提升明显； 2. [fstore] 支持预读机制，顺序读性能提升显著； 3. 修复了3个bug： 1）[fstore] 修复V2.1.0引入的bug：第一次运行时，一个关键bool变量没有正确赋值； 2）[fuseclient] 修复列举目录导致元数据缓存的一致性问题； 3）[fauth] 修复u...
2021-06-22 10:09:05
406
1
原创 FastCFS binlog机制简介
FastCFS采用经典的Master/Slave结构及数据同步复制的做法。如果slave在线，master同步调用slave；否则slave将进入数据恢复阶段，追上master的最新进度后，slave切换为在线状态，此后master将数据同步复制到slave。 FastCFS采用binlog记录数据更改操作，binlog中不会记录变更（如写入）的文件内容，binlog相当于是数据索引，非常简洁。FastCFS中binlog的两大用途：一、实现数据索引持久化存储，程序启动时通过重放b...
2021-06-15 07:28:02
255
1
原创 FastCFS简洁高效的访问权限控制
3月份启动FastCFS V2.0研发工作，耗时近2个月时间推出了V2.0。为了更好地对接虚拟机和K8s，V2.0主要实现了存储池和访问权限控制，并支持配额。 V2.0支持的核心功能就是用户和权限体系。对于应用系统来说，权限管理是基本功能，实现起来根本就不是事儿。对于基础软件来说，为了保证高性能且不依赖第三方组件，挑战大了不少，其实现方案需要精心设计，实现细节需要仔细推敲。 对一个存储系统来说，把用户、存储池和访问权限相关数据保存到诸如mysql数据库中，当然是可行的，但不讲究...
2021-06-12 21:10:18
534
原创 FastCFS同步复制机制简介
最近忙着FastCFS v1.2.0的研发工作，主要对数据恢复和master任命机制做了改进，修复了5个稳定性bug，FastCFS的可靠性和稳定性上了一个新台阶。v1.2.0的改进工作和数据一致性密切相关，本文将介绍FastCFS采用的数据一致性模型及基础结构。 说到数据一致性，大家会想到分布式系统必须符合CAP理论：一个分布式系统，不可能完全满足CAP，只能做到其中的两个，即 CA、AP或CP。 FastCFS的目标是支持跑数据库，保证数据一致性是基本要求；保证...
2021-06-12 21:07:53
301
原创 FastCFS数据一致性模型之基础结构
最近忙着FastCFS v1.2.0的研发工作，主要对数据恢复和master任命机制做了改进，修复了5个稳定性bug，FastCFS的可靠性和稳定性上了一个新台阶。v1.2.0的改进工作和数据一致性密切相关，本文将介绍FastCFS采用的数据一致性模型及基础结构。 说到数据一致性，大家会想到分布式系统必须符合CAP理论：一个分布式系统，不可能完全满足CAP，只能做到其中的两个，即 CA、AP或CP。 FastCFS的目标是支持跑数据库，保证数据一致性是基本要求...
2021-06-12 20:59:59
333
1
原创 FastCFS核心组件FastStore架构及特点
上一篇文章介绍了FastCFS服务端两大核心组件：FastDIR和FastStore。其中FastDIR管理文件元数据，FastStore以分块方式存储文件内容。FastDIR和FastStore均采用Master/Slave结构，Master不需要手工配置，由程序自动选举产生，并且做到了failover。FastDIR架构是FastStore架构子集（特例），因此我们着重介绍FastStore的架构及其特点。 无图无真相，先上FastStore的架构图。 FastStor...
2021-06-12 20:56:40
710
原创 FastCFS核心组件及访问方式
FastCFS 是一款可以跑数据库的轻量级分布式存储系统，她为数据库和云平台提供后端存储，保证数据强一致性，解决大容量数据存储问题，做到了高可靠、高可用、高性能以及高扩展性。 FastCFS服务端两个核心组件是 FastStore 和 FastDIR。FastStore是基于块存储的分布式数据存储服务，其文件block大小为4MB，文件 inode + 文件偏移量 (offset)作为block的key，对应的文件内容为 value，FastStore本质是一个分布式Key-Val...
2021-06-12 20:54:11
486
1
原创 可以跑数据库的分布式文件系统FastCFS简介
FastCFS 是一款基于块存储的通用分布式文件系统，可以作为MySQL、PostgresSQL、Oracle等数据库和私有云的后端存储。已经有了比较受欢迎的FastDFS，为啥还要研发FastCFS呢？FastDFS是轻量级的对象存储，只能通过专有API访问，为互联网应用量身定制，适合存放图片、视频、文档等等；而FastCFS是通用的分布式文件系统，可以mount到本机通过标准文件接口访问，为云平台量身定制，完全支持数据库。一句话总结：FastCFS是云原生分布式文件系统，保证数据强一...
2021-06-05 21:13:03
1565
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人