go 分布式文件服务器,一个极简的分布式文件系统-Go语言中文社区-CSDN博客

前言

开源的分布式存储系统比较多，比较有名的有：Ceph、GlusterFS、HDFS、TFS等。这些系统都比较复杂，代码动则几十上百万行，这些系统对初学者来说门槛比较高，特别是对于从事非分布式存储行业，但又想跨行学习分布式的同学来说，往往有这想法，但是不知道怎么入手。本文介绍之前实现的一个C++极简版的分布式文件系统

对于嵌入式，或者主要是从事单机开发的程序员来说，没接触分布式之前，都会感觉很神秘，往往会被高并发、海量数据分析处理等名词唬住。其实，职位没有智商之分，区别也就在于你有没有亲自动手摸过这些玩意儿。以往的经验告诉我，就算不会的东西，一个版本的时间，只要你稍微努点力基本就会达到行业的基本水平，当然越往上走就要看自己的兴趣和时间投入了。

好了，言归正传，下面开始介绍这个简单的分布式文件系统，选用的基础组件是leveldb + goyas-rpc，leveldb作为存储底座，goyas-rpc作为进程之间通信使用。有关leveldb的介绍网上非常多，这里就不再骜述，goyas-rpc可以参考之前的

思考

如果让你设计分布式文件系统，你会怎么设计？

1、如果自己设计一个简单的分布式存储系统，对于文件的读取存盘，你会怎么设计？

2、比如执行下面的命令经过怎么样的IO路径local_file文件才会存储到磁盘？ ./fs_client put local_file /user/ —把local_file文件存放到文件系统/user目录

3、怎么让local_file文件存储到分布式文件系统的3个不同结点，并且3副本保存？

架构设计

系统架构设计采用经典的GFS分布式存储模型，由3个不同的角色(client、master、chunkserver)负责管理不同的事务，client作为客户端，接受来自用户的请求。master作为元数据及namespace存储管理。chunkserver和磁盘打交道，作为最终的单机存储引擎。执行./fs_client put local_file /user/ 命令，会大致经历下面图里面从左到右的流程，最终调用系统调用write把local_file存放到存储介质。

fs_client

fs_client用于接受用户的请求，比如：./fs_client mkdir /file1执行这条命令，会最初调用下面的函数接口

int FileSystemImpl::CreateDirectory(char*path) {

printf("Create directory %sn", path);

CreateFileRequest request;

CreateFileResponse response;

request.set_sequence_id(0);

request.set_file_name(path);

request.set_type((1<<9)|0755);bool ret = rpc_wrapper_->SendRequest(masterserver_stub_,&MasterServer_Stub::CreateFile, &request, &response, 5, 3);if (!ret || response.status() != 0) {

printf("Create directory failn");return -1;

}return 0;

}

函数功能：把序列号、文件名及文件类型通过RPC发送到元数据管理进程masterserver进行处理。其实这里比我们经常单机环境写的fopen、fwrite也就仅仅多了个RPC，需要通过它把不用节点的信息发送到其他节点，呵呵，这就是分布式！再来看看masterserver进程收到这个request消息后干了些啥？

masterserver

void MasterServerImpl::CreateFile(google::protobuf::RpcController*controller,const ::goya::fs::CreateFileRequest*request,

goya::fs::CreateFileResponse*response,

google::protobuf::Closure*done) {

printf("masterserver create filen");

response->set_sequence_id(request->sequence_id());const std::string& filename = request->file_name();if (filename.empty() || filename[0] != '/') {

printf("path format errorn");

response->set_status(3);

done->Run();return;

}

std::stringfile_value;

leveldb::Status s;