fuse中进程通信

研究fuse有段时间，一直没有整理材料，下面总结下

|  "rm /mnt/fuse/file"                      |  FUSE filesystem daemon

 |                                                        |
 |                                                        |  >sys_read()
 |                                                        |    >fuse_dev_read()
 |                                                        |      >request_wait()

 |                                                        |        [sleep on fc->waitq]

                                                               （1）

 |                                                        |
 |  >sys_unlink()                              |
 |    >fuse_unlink()                          |
 |      [get request from                   |
 |       fc->unused_list]                    |
 |      >request_send()                    |
 |        [queue req on fc->pending]|
 |        [wake up fc->waitq]               |        [woken up]
 |        >request_wait_answer()     |

 |          [sleep on req->waitq]         |

 （2）

 |                                                         |      <request_wait()

 |                                                         |      [remove req from fc->pending]
 |                                                         |      [copy req to read buffer]
 |                                                         |      [add req to fc->processing]
 |                                                         |    <fuse_dev_read()
 |                                                         |  <sys_read()
 |                                                         |

 |                                                         |  [perform unlink]

                                                           （3）

 |                                                         |
 |                                                         |  >sys_write()
 |                                                         |    >fuse_dev_write()
 |                                                         |      [look up req in fc->processing]
 |                                                         |      [remove from fc->processing]
 |                                                         |      [copy write buffer to req]
 |          [woken up]                           |      [wake up req->waitq]
 |                                                         |    <fuse_dev_write()

 |                                                         |  <sys_write()

                                                            （4）

 |        <request_wait_answer()    |
 |      <request_send()                    |
 |      [add request to                        |
 |       fc->unused_list]                     |
 |    <fuse_unlink()                           |
 |  <sys_unlink()                               |
 （5）

上面是fuse源码中的文档kernel.txt，以rm一个fuse中的文件为例，介绍下整个fuse处理流程。

上图流程大致分5个步骤：

（1）  fuse守护进程调用系统read，读取文件/dev/fuse这个特殊字符设备文件。
             进去到内核后，VFS将控制权交给fuse的kernel模块，调用fuse_dev_read。
              fuse进程检查是否有等待其他进程发来请求消息，没有消息，则进入睡眠状态。

（2）  用户进程进入内核后，VFS把控制权转交fuse模块。

            用户进程向内核中的fuse消息缓冲区发送一个消息，

            然后把在内核中进入睡眠状态的fuse守护进程唤醒，
            在等待fuse守护进程返回结果消息的时候进入睡眠

（3） fuse守护进程被唤醒后，从read系统调用返回用户态，
          用户态的lib，根据从read中读取的消息，执行fuse自定义的操作。

（4） fuse守护进程在用户态执行完操作后，需要将结果告诉用户进程。
            具体的做法向/dev/fuse文件write，再次陷入内核。
            进入内核后fuse守护进程做的就是把用户态发过来的结果消息拷贝到内核缓冲区，并唤醒上一次在内核中睡眠的用户进程。

（5）用户进程被唤醒后，从内核缓冲区读取结果消息，
          最后从系统调用sys_unlink中返回。

总结下，fuse守护进程要想跟操作文件的用户进程通信（这里特指元数据命令的交互，例如link，lookup，不包括read、write），是通过读写/dev/fuse这个字符设备文件实现的，其实就是读写fuse内核模块为二者之间通信创建的消息缓冲区。这种做法很像一个管道文件的通信方式，再次体现了UNIX的传统，一切皆文件。

观察上述的5个步骤，使用fuse进行一个简单的元数据操作，需要：

      1、操作文件的用户进程至少睡眠一次，一次系统调用

       2.fuse daemon可能需要睡眠一次，但是至少需要两次系统调用，

如果忽略内核缓冲区的内存拷贝的消耗，那么fuse跟核态的文件系统比多了两次系统调用，这样对于海量小文件的io来说，性能损耗就比较明显了。

如果是大文件的连续读写，特别是在fuse启动direct_io的模式下，性能损耗就没那么明显。

目前很多分布式文件系统的posix接口都是通过fuse实现的，例如GlusterFS、mooseFS、HDFS，zfs on linux也是，向ceph和lustre把client做到kernel里的并不多。

实现一个fuse确实比在kernel里做个文件系统简单多了，而且做到kernel里面也容易引起crash，没有fuse安全。