揭秘京东文件系统JFS的前世今生，支持双11每秒约10万个对象同时读写

背景

作为一家大规模的自营式电商企业，京东需要存储海量的非结构化数据：商品图片、订单文本、仓库流转记录、App客户端文件、日志文件、内部文档等。对于存储这些数据，之前并没有统一的解决方案，都是各个业务线自行解决——MySQL BLOB、HDFS、FastDFS。

2013年5月，京东开始组建存储组，自主研发JFS——京东文件系统，以实现非结构化数据存储统一服务为目标。

小文件存储

针对3个典型的应用场景——商品图片、OFC订单、WMS库房流水，JFS第一版定位为海量小文件存储，其核心功能定义如下。

• 海量小文件存储，极高的可靠性、可用性与一致性。
• Key-File数据模型，Key由系统生成，全局唯一；文件immutable，即不可修改，甚至极少被删除。

其主要包含如下3个模块。

• ZooKeeper作为集群协调器管理元数据信息。
• 由Go语言开发的DataNode，实现服务端读写逻辑、复制协议、故障恢复等。每个DataNode管理一块磁盘——该设计大幅简化了工程实现。
• 由Java开发的客户端。

复制协议实现了一种Paxos变体，或者说一种极简的Paxos实现，如图1所示：固定成员（一个复制组由1primary + 2follower构成）、固定角色（primary与follower角色不会发生变更）、固定读写流程（client将写操作发送到primary，它在写本地的同时将写操作发给两个follower，三副本都写入成功后才成功返回给用户；优先在follower上读取，提高系统的并发能力）。

存储引擎采用Append-Only方式，每个DataNode维护一组（默认配置为512）Chunk大文件，客户端上传的小文件（如一张图片）被并行追加至一个复制组三名成员对应的Chunk中，如图2所示。