分布式文件系统
蔷薇理想人生
熟悉C++ /C开发,目前从事云计算和云存储相关的开发工作,对于windows和linux平台软件开发比较熟悉。目前主要研究分布式计算与分布式文件系统、数据同步,深入研究linux内核实现。熟悉RPC数据通信框架原理及实现。
展开
-
ceph主要数据结构解析3-Ceph_fs.h文件
(1)集群内部子版本协议类型宏定义:与公共协议保持独立性,以便消息类型和协议升级受影响#define CEPH_OSDC_PROTOCOL 24 /* server/client */OSD服务器集群与客户端协议版本#define CEPH_MDSC_PROTOCOL 32 /* server/client */MDS与客户端#define CEPH_MONC_PROTOC原创 2013-08-15 23:26:09 · 3632 阅读 · 2 评论 -
Glusterfs之nfs模块源码分析(中)之Glusterfs实现NFS服务器
我的新浪微博:http://weibo.com/freshairbrucewoo。欢迎大家相互交流,共同提高技术。五、Glusterfs实现NFS服务器第一节、启动过程分析Glusterfs的nfs服务器启动命令如下: /usr/local/sbin/glusterfs -f /etc/glusterd/nfs/nfs-server.vol -p /etc/glus原创 2012-05-07 22:45:52 · 5738 阅读 · 1 评论 -
Glusterfs之rpc模块源码分析(中)之Glusterfs的rpc模块实现(2)
我的新浪微博:http://weibo.com/freshairbrucewoo。欢迎大家相互交流,共同提高技术。第二节、rpc客户端实现原理及代码分析rpc客户端主要发起一个rpc请求,执行完rpc请求以后就退出rpc,下面分析客户端rpc请求建立的整个过程。Rpc客户端请求建立的第一步是执行cli_rpc_init函数,主要实现代码如下: th原创 2012-05-14 22:33:40 · 2845 阅读 · 0 评论 -
GlusterFS之内存池(mem-pool)实现原理及代码详解
我的新浪微博:http://weibo.com/freshairbrucewoo。欢迎大家相互交流,共同提高技术。最近一直在研究glusterfs的源代码,自己也在上面做了一些小的改动。我最开始研究的是3.2.5这个版本,因为据同行和网上资料显示这个版本目前是最稳定的版本。glusterfs实现比较复杂,具体的设计思想和架构就不详细介绍了,网上有这方面的资料(CSDN博客里面就有很好介原创 2012-04-25 20:07:39 · 3840 阅读 · 1 评论 -
GlusterFS之内存池(mem-pool)使用实例分析
我的新浪微博:http://weibo.com/freshairbrucewoo。欢迎大家相互交流,共同提高技术。上一篇博客详细分析了GlusterFS之内存池的实现技术,今天我们看看GlusterFS是怎么使用这个技术的。第一步:分配和初始化:cli进程在初始化的过程中会涉及到内存池的建立和初始化,具体涉及到内存池初始化的代码如下(在cli.c文件中的glusterfs_原创 2012-04-26 19:53:42 · 3018 阅读 · 1 评论 -
Glusterfs之nfs模块源码分析(上)之nfs原理和协议
我的新浪微博:http://weibo.com/freshairbrucewoo。欢迎大家相互交流,共同提高技术。一、网络文件系统概述Sun Microsystems公司于1984年推出了一个在整个计算机工业中被广泛接受的远程文件存取机制,它被称为Sun的网络文件系统(Network File System),或者简称为NFS。该机制允许在一台计算机上运行一个服务器,使原创 2012-05-07 22:28:49 · 5942 阅读 · 3 评论 -
Glusterfs之nfs模块源码分析(下)之NFS协议之RPC的实现和NFS协议内容
我的新浪微博:http://weibo.com/freshairbrucewoo。欢迎大家相互交流,共同提高技术。六、NFS协议之RPC的实现因为nfs服务器启动时的端口是不确定的,所以nfs服务器将自己的端口注册到rpc服务,客户端通过rpc请求知道nfs服务器的监听端口。下面就分析整个rpc的处理过程。现在假设客户端有一个rpc请求达到服务器端了,通过上面nfs协议初始化的原创 2012-05-09 22:28:02 · 3126 阅读 · 0 评论 -
Glusterfs之rpc模块源码分析(上)之RPC概述
我的新浪微博:http://weibo.com/freshairbrucewoo。欢迎大家相互交流,共同提高技术。一、RPC概述第一节、RPC结构网络RPC(Remote Procedure Call Protocol)——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为原创 2012-05-13 10:41:16 · 3073 阅读 · 0 评论 -
Glusterfs之rpc模块源码分析(中)之Glusterfs的rpc模块实现(1)
我的新浪微博:http://weibo.com/freshairbrucewoo。欢迎大家相互交流,共同提高技术。二、Glusterfs的rpc模块实现第一节、rpc服务器端实现原理及代码分析1.rpc服务初始化Rpc服务的初始化工作在函数rpcsvc_init中实现的,实现代码如下:rpcsvc_t * rpcsvc_init (glusterfs_c原创 2012-05-13 10:48:02 · 3247 阅读 · 0 评论 -
Glusterfs之rpc模块源码分析(下)之RDMA over TCP的协议栈工作过程浅析
我的新浪微博:http://weibo.com/freshairbrucewoo。欢迎大家相互交流,共同提高技术。声明:本文转至IT168:因为GlusterFS实现了IB网络(RDMA协议,专用硬件网卡支持),当时就在想普通的网卡能不能实现,就找到一篇这样的文章介绍,基于TCP协议来实现。!附件 RDMA over TCP的协议栈工作过程浅析第一节 RDMA概述随原创 2012-05-14 22:51:55 · 4338 阅读 · 1 评论 -
Glusterfs之rpc模块源码分析(中)之Glusterfs的rpc模块实现(3)
我的新浪微博:http://weibo.com/freshairbrucewoo。欢迎大家相互交流,共同提高技术。第三节、rpc通信过程分析前面两个小节分别对rpc服务端和客户端的建立流程做了详细的分析,也就是说rpc客户端和服务器端已经能够进行正常的通信了(rpc客户端已经通过connect链接上rpc服务器了),那么这一小节主要根据一个实际的例子来分析一个完整的rpc通信过原创 2012-05-14 22:36:25 · 3191 阅读 · 0 评论 -
毕业工作五年的总结和感悟(中)
今天终于又能抽出一点时间来写文章了,接着前一篇继续写。前一篇文章有博友就评论说写了很多废话,其实本身就是一些工作中的点点滴滴,自己想到什么就写什么,没有太多的构思文章的内容和结构,就算自己回顾自己工作的这五年吧。 上篇博客提到自己主要支持各个团队使用scribe归集日志,这也包括归集日志到hadoop系统里面。所以这时的自己开始接触hadoop生态系统了,原创 2016-07-10 19:21:59 · 5719 阅读 · 1 评论