MooseFS源代码分析(二)——mfsmount模块

1.fuse介绍

客户端上需要安装有fuse。mfsmount使用了fuse模块，以拥有一个和文件操作一样的操作入口。

fuse的功能简单概括一下，fuse提供一个文件操作的接口，然后fuse在这个接口上监听文件操作，并把这些对文件的操作传给我们自己的相关代码进行处理。也就是说，fuse提供一个挂载点，然后他会在这个挂在点上进行监听，一旦有操作(新建、读取、修改)发生，他会把控制权交给我们的代码，这些操作的具体代码都在mfsmount模块中实现。

fuse中的fuse_lowlevel_ops结构用来指定自定义的文件操作，mfsmount中定义的结构如下：

1. mfsmount模块main.c代码片段

1.  staticstruct fuse_lowlevel_ops mfs_oper = {

2.      .statfs        = mfs_statfs,

3.      .lookup        = mfs_lookup,

4.      .getattr    = mfs_getattr,

5.      .setattr    = mfs_setattr,

6.      .mknod        = mfs_mknod,

7.      .unlink        = mfs_unlink,

8.      .mkdir        = mfs_mkdir,

9.      .rmdir        = mfs_rmdir,

10.    .symlink    = mfs_symlink,

11.    .readlink    = mfs_readlink,

12.    .rename        = mfs_rename,

13.    .link        = mfs_link,

14.    .opendir    = mfs_opendir,

15.    .readdir    = mfs_readdir,

16.    .releasedir    = mfs_releasedir,

17.    .create        = mfs_create,

18.    .open        = mfs_open,

19.    .release    = mfs_release,

20.    .flush        = mfs_flush,

21.    .fsync        = mfs_fsync,

22.    .read        = mfs_read,

23.    .write        = mfs_write,

24.    .access        = mfs_access,

25.};

这里面的mfs_statfs、mfs_lookup…mfs_write、mfs_access是由mfsmount去实现的函数，一共23种文件操作，mfsmount全部要自己去实现一遍。当在fuse注册的挂载点上(默认对应/mnt/mfs)进行文件操作时，fuse就会使用mfsmount的实现去实现这些操作。例如，我们在/mnt/mfs创建一个text.txt文件，fuse就会调用mfs_create去进行操作(当然需要传递文件名等必要的参数)，至于我们的代码在什么地方去创建具体的文件，fuse不管。

看一下mfsmount中这些文件操作函数在头文件中的定义：

mfs_fuse.h代码片段

1.  void mfs_access(fuse_req_t req, fuse_ino_t ino,int mask);

2.  void mfs_lookup(fuse_req_t req, fuse_ino_t parent,constchar *name);

3.  void mfs_getattr(fuse_req_t req, fuse_ino_t ino,struct fuse_file_info *fi);

4.  void mfs_setattr(fuse_req_t req, fuse_ino_t ino,struct stat *stbuf,int to_set, struct fuse_file_info *fi);

5.  void mfs_mknod(fuse_req_t req, fuse_ino_t parent,constchar *name, mode_t mode, dev_t rdev);

6.  void mfs_unlink(fuse_req_t req, fuse_ino_t parent,constchar *name);

7.  void mfs_mkdir(fuse_req_t req, fuse_ino_t parent,constchar *name, mode_t mode);

8.  void mfs_rmdir(fuse_req_t req, fuse_ino_t parent,constchar *name);

9.  void mfs_symlink(fuse_req_t req,constchar *path, fuse_ino_t parent,constchar *name);

10.void mfs_readlink(fuse_req_t req, fuse_ino_t ino);

11.void mfs_rename(fuse_req_t req, fuse_ino_t parent,constchar *name, fuse_ino_t newparent,constchar *newname);

12.void mfs_link(fuse_req_t req, fuse_ino_t ino, fuse_ino_t newparent,constchar *newname);

13.void mfs_opendir(fuse_req_t req, fuse_ino_t ino,struct fuse_file_info *fi);

注意每个函数都有一个fuse_ino_t类型的参数ino，每个文件都对应一个唯一的ino值，fuse需要用到这个值。在文件的目录结构中(在masterserver的元数据中)，这个ino用来作为文件和文件夹的标识。在创建文件和文件夹的过程中，这个些目录结构的数据被存在了masterserver上，客户端是没有这些数据的。根目录(/mnt/mfs)的ino被定为0。

以删除一个目录为例具体解释一下代码，下面的函数就是mfsmount模块里面注册的“删除目录”操作所对应的函数：

2. 目录删除所对应的函数

1.  void mfs_rmdir(fuse_req_t req, fuse_ino_t parent,constchar *name) {

2.      uint32_t nleng;

3.      int status;

4.      conststruct fuse_ctx *ctx;

5.   

6.      /*...........*/

7.   

8.      ctx = fuse_req_ctx(req);

9.      status = fs_rmdir(parent,nleng,(const uint8_t*)name,ctx->uid,ctx->gid);

10.    status = mfs_errorconv(status);

11.    if (status!=0) {

12.        fuse_reply_err(req, status);

13.    }else {

14.        fuse_reply_err(req, 0);

15.    }

16.}

mfs_rmdir函数的各个参数会由fuse传过来，注意看第9行的fs_rmdir，它会与masterserver通信进行真正的删除操作。

总之，这里fuse的作用就是提供一个中间层，用来把用户(或者程序)在挂载点上的文件操作捕捉后转交给mfsmount自己的代码来处理，并把处理的结构再反馈给用户。对于用户来说，在这个挂载点上读写文件和在普通的文件夹里读写文件是一样的，用户感觉不到任何差别。

2.mfsmount的工作过程

▲mfsmount启动后，首先会读取命令行的参数和配置。

▲然后使用fuse定义好挂载点，并对应上mfsmount实现的文件操作函数。

▲设置好到masterserver的连接参数。

▲启动线程fs_nop_thread用于保持与masterserver的连接状态。fs_receive_thread，连接到masterserver并进行通讯，在masterserver上注册，并做一些初始化工作。

▲开始响应客户端的输入(由fuse中转)。

重点解释下响应用户输入的过程，输入就是我们所做的创建、修改文件的操作，这些操作会被移交到在fuse_lowlevel_ops中定义好的各个具体的函数，在这些具体的函数中去和masterserver进行通信。

每次用户所做一个文件操作，就会生成一个threc类型的数据：

threc结构

1.  typedefstruct _threc {

2.      pthread_t thid;

3.      pthread_mutex_t mutex;

4.      pthread_cond_t cond;

5.      uint8_t *buff;

6.      uint32_t buffsize;

7.      uint8_t sent;

8.      uint8_t status;

9.      uint8_t release;    // cond variable

10.    uint32_t size;

11.    uint32_t cmd;

12.    uint32_t packetid;

13.    struct _threc *next;

14.} threc;

里面主要是一些状态字段，其中最重要的是buff，buff里面的数据会被发送给masterserver：

buff的前12个字节存放的是三个整数。后面的空间用于存放发送的具体信息。buff里面的具体内容如下：

▲第1~4个字节(存放一个整数)，是具体的命令，说明了需要取什么样的数据。

▲第5~8个字节(存放一个整数)，所发送数据的大小。

▲第9~12个字节(存放一个整数)，表示的是packetid，这个packetid是唯一的，对应了每一次的操作。

▲第13~**个字节，更具第5~8个字节的情况而定。

我们看一下创建目录(fs_makedir)的时候的代码片段：

fs_makedir代码片段

1.  ...

2.  ptr = fs_createpacket(rec,CUTOMA_FUSE_MKDIR,15+nleng);

3.  PUT32BIT(parent,ptr);

4.  PUT8BIT(nleng,ptr);

5.  memcpy(ptr,name,nleng);

6.  ptr+=nleng;

7.  PUT16BIT(mode,ptr);

8.  PUT32BIT(uid,ptr);

9.  PUT32BIT(gid,ptr);

10.ptr = fs_sendandreceive(rec,MATOCU_FUSE_MKDIR,&i);

11....

在上面第2行代码中，fs_createpacket会创建一个threc结构，并设置它的buffer大小为15+nleng+12字节。

后面的这12个字节是固定作为buffer头的，是在创建threc结构的时候填充进去的，在前面说threc结构的时候有描述过。

其中的15+nleng字节的内容就是后面的第3、4、5、7、8、9行所放进去的发送给masterserver的内容。对于不同的操作，具体发送给masterserver的内容会不同。masterserver返回的数据同样也是放在这个threc结构里面。下面是对于创建目录操作对应的threc结构里面的buffer在发送数据给masterserver时的内容：

数据从masterserver返回后，将数据再从threc结构中取出，把文件夹的参数交给fuse，剩下的就是fuse拿着这些参数去做它自己的事情了(例如，显示信息给用户)。

3.读取、写入文件数据的处理

之前在介绍fuse时说到mfsmount会定义自己的文件操作，其中read和write这两个与实际数据打交道的操作比较特殊。除了read和write外，其它操作都只需要从masterserver获取数据。而read和write操作则需要先和masterserver通信，取得数据所在的chunkserver的地址和端口后，再从chunkserver读写数据。read和write和masterserver通讯的时候仍然使用threc结构

去masterserver上获取chunkserver的IP和Port，这个过程和其它非read、write操作的过程类似，主要代码如下：

fs_readchunk代码片段

1.  ptr = fs_createpacket(rec,CUTOMA_FUSE_READ_CHUNK,8);

2.  PUT32BIT(inode,ptr);

3.  PUT32BIT(indx,ptr);

4.  ptr = fs_sendandreceive(rec,MATOCU_FUSE_READ_CHUNK,&i);

5.  //... ...

6.  GET64BIT(t64,ptr);

7.  *length = t64;

8.  GET64BIT(t64,ptr);

9.  *chunkid = t64;

10.GET32BIT(t32,ptr);

11.*version = t32;

12.if (i==20) {

13.    *csip = 0;

14.    *csport = 0;

15.}else {

16.    GET32BIT(t32,ptr);

17.    *csip = t32;

18.    GET16BIT(t16,ptr);

19.    *csport = t16;

20.}

masterserver会返回文件的版本、长度、ID以及chunkserver的信息。mfsmount然后更具这些信息与chunkserver通信去获取数据，数据读取到后控制权交还给fuse。