Gluster源代码阅读3--MGMT Xlator

引言

个人认为Gluster有5大基础组件，分别是：MGMT,RPC Server,RPC Client, NFS Server,NFS Client

这5个组件组成了Gluster的基本服务，所以这一章节就是简单概述下MGMT做了哪些事情

MGMT,NFS,RPC-Server都使用相同的main函数(glusterfsd:main)，所以这3类都有着相同加载流程,大致流程如下：

int main (int argc, char *argv[]) 

{ 

   …….

ctx = glusterfs_ctx_new();

   ret = glusterfs_globals_init ();

   ret = glusterfs_ctx_defaults_init (ctx);

   ret = parse_cmdline (argc, argv, ctx);

   ret = logging_init (ctx);

   gf_proc_dump_init();

   ret = create_fuse_mount (ctx);

   ret = daemonize (ctx); //变成daemon进程

   ret = glusterfs_volumes_init (ctx); //这个函数里干的事情，非常重要

   ret = event_dispatch (ctx->event_pool); //分发事件，参考3.3

}

从ctx的出现频率，拍脑袋都能想到ctx是一个非常重要的结构，它保存了许多的信息，至于有哪些，再以后的章节再进行扩展，但在这main里，前面所有的调用都是为2个重要的函数做铺垫

1、  glusterfs_volumes_init()

2、  event_dispatch()

在glusterfs_volumes_init() 里配置了不同的xlator(通过volfile-id，来决定配置哪些xlator),在gluster里xlator都是以一个模块化的组件.so的形式存在的，存放方路径是

所以加载不同的xlator，就等于加载了不同的glusterfsd的服务。

三种模式

Gluster有3种运行模式，分别是:

GF_SERVER_PROCESS,GF_GLUSTERD_PROCESS,GF_CLIENT_PROCESS        

虽然3个命令指向的是同一个文件（参考图1-1），但是这个文件确有3种模式

static uint8_t

gf_get_process_mode (char *exec_name)

{

       char *dup_execname = NULL, *base = NULL;

       uint8_t ret = 0;

       dup_execname = gf_strdup (exec_name);

       base = basename (dup_execname);

       if (!strncmp (base, "glusterfsd", 10)) {

                ret = GF_SERVER_PROCESS; （VOLUME,NFS,RPC Server）

       } else if (!strncmp (base, "glusterd", 8)) {

                ret = GF_GLUSTERD_PROCESS; (Daemon)

       } else {

                ret = GF_CLIENT_PROCESS; (RPC Client)

       }

       GF_FREE (dup_execname);

       return ret;

}

解析命令行参数

利用了argp包,解析命令行顺序，具体详情参考

http://www.gnu.org/software/libc/manual/html_node/Argp-Examples.html#Argp-Examples

#0 parse_opts(key=16777219, arg=0x0, state=0x7fffffffce70) at glusterfsd.c:780

#1 0x00007ffff62cfc9bin argp_parse () from /lib64/libc.so.6--这是个so里的函数

#2 0x0000000000409001in parse_cmdline (argc=6, argv=0x7fffffffe578, ctx=0x617010) atglusterfsd.c:1793

#3 0x000000000040a1dfin main (argc=6, argv=0x7fffffffe578) at glusterfsd.c:2296

Event_dispatch

在glusterfs_ctx_defaults_init里被初始化

在gluster里使用了大量的函数指针，所以如何找到指针对应的函数，非常有助于代码的阅读，下面2个struct，定了对应的event函数

//event.h

struct event_ops {

        struct event_pool * (*new) (int count,int eventthreadcount);

        int (*event_register) (structevent_pool *event_pool, int fd,

                               event_handler_thandler,

                               void *data, intpoll_in, int poll_out);

        int (*event_select_on) (structevent_pool *event_pool, int fd, int idx,

                                int poll_in,int poll_out);

        int (*event_unregister) (structevent_pool *event_pool, int fd, int idx);

        int (*event_unregister_close) (structevent_pool *event_pool, int fd,

                                            int idx);

        int (*event_dispatch) (structevent_pool *event_pool);

        int (*event_reconfigure_threads)(struct event_pool *event_pool,

                                          intnewcount);

        int (*event_pool_destroy) (structevent_pool *event_pool);

};

//event-epoll.c

struct event_opsevent_ops_epoll = {

        .new                       = event_pool_new_epoll,

        .event_register            = event_register_epoll,

       .event_select_on           =event_select_on_epoll,

        .event_unregister          = event_unregister_epoll,

        .event_unregister_close    = event_unregister_close_epoll,

        .event_dispatch            = event_dispatch_epoll,

        .event_reconfigure_threads =event_reconfigure_threads_epoll,

        .event_pool_destroy        = event_pool_destroy_epoll

};

不管那种模式，都使用epoll,并在event-dispatch分发事件

event_pool->ops->event_dispacth这里是函数指针的调用，参考structops的真正指向是event_dispatch_epoll,并利用一个单独的线程worker去处理所有事件

 

XLATOR的加载

在默认情况下，glusterd会使用/etc/glusterfs/glusterd.vol来初始化xlator

  1:volume management

 2:     type mgmt/glusterd

 3:     optionrpc-auth.auth-glusterfs on

 4:     option rpc-auth.auth-unixon

 5:     option rpc-auth.auth-nullon

 6:     optionrpc-auth-allow-insecure on

 7:     optiontransport.socket.listen-backlog 128

 8:     option event-threads 1

 9:     option ping-timeout 0

 10:    option transport.socket.read-fail-log off

 11:     optiontransport.socket.keepalive-interval 2

 12:    option transport.socket.keepalive-time 10

 13:    option transport-type rdma

 14:    option working-directory /var/lib/glusterd

 15:end-volume

其中xl指向是当前的xlaotor(mgmt),glusterd.c:init()

在glusterd.c:init()里初始化了RPC服务

不同的xlator组成的堆栈结构，称为一个graph