【PNFS学习】pNFS读流程追踪

一、如何追踪

NFS客户端(client)和服务器(server)端的日志分别为：nfs_debug、nfsd_debug。它们的位置为：/proc/sys/sunrpc。这两个日志文件初始内容为：0，表示关闭，写入其他数字可以把它们打开。若不打开日志，运行dmesg命令之后，是无法看到在nfs源代码中输出的打印信息的。打开日志后，方可看到。

二、打开日志

1. AS端
   echo 32767 > /proc/sys/sunrpc/nfs_debug

执行dmesg

如图所示会出现一些打印信息。

2. MDS端
   echo 32767 > /proc/sys/sunrpc/nfsd_debug

三、读流程

fs/nfs
<1>nfs_file_read（file.c）

static ssize_t nfs_file_read(struct kiocb *iocb, 
                             const struct iovec *iov,
                             unsigned long nr_segs, 
                             loff_t pos)
{
    struct dentry * dentry = iocb->ki_filp->f_path.dentry;
    struct inode * inode = dentry->d_inode;
    ssize_t result;
    size_t count = iov_length(iov, nr_segs);
    if (iocb->ki_filp->f_flags & O_DIRECT)
            return nfs_file_direct_read(iocb, iov, nr_segs, pos);

    result = nfs_revalidate_mapping(inode, iocb->ki_filp->f_mapping);
    nfs_add_stats(inode, NFSIOS_NORMALREADBYTES, count);
    if (!result)
        result = generic_file_aio_read(iocb, iov, nr_segs, pos);
        
    return result;
}

read有两种方式，一种是直接读：nfs_file_direct_read；一种是从缓存中读：generic_file_aio_read。如果从缓存中读，因为多个客户端可以挂载在一个服务器上，如果别的客户端修改了文件，相应的缓存中的文件信息就需要修改，所以必须先检查是否需要更新缓存中的文件属性信息：nfs_revalidate_mapping。

我们看一下nfs_revalidate_mapping函数：

int nfs_revalidate_mapping(struct inode *inode, struct address_space *mapping)
{
      struct nfs_inode *nfsi = NFS_I(inode);
      int ret = 0;
      
      if ((nfsi->cache_validity & NFS_INO_REVAL_PAGECACHE)
           || nfs_attribute_timeout(inode) || NFS_STALE(inode))
      {
		           ret = __nfs_revalidate_inode(NFS_SERVER(inode), inode);
		           if (ret < 0)   goto out;
		      }
		      if (nfsi->cache_validity & NFS_INO_INVALID_DATA)
		           ret = nfs_invalidate_mapping(inode, mapping);
out:
      return ret;
}

判断是否需要更新看三个条件：

1. NFS_INO_INVALID_DATA：强制更新，只要设置了这个位，必须更新缓存中的信息。
2. nfs_attribute_timeout：属性是否超时，inode包含两个字段：read_cache_jiffies和attrtimeo，前者是上次更新时间、后者是有效期，可以通过它俩判断是否超时。
3. NFS_STALE：文件句柄是否过期。

需要更新就调用__nfs_revalidate_inode函数更新，__nfs_revalidate_inode通过发送GETATTR请求从服务器获取信息，然后调用nfs_refresh_inode函数更新。

<2>generic_file_aio_read（file.c）
上面已经说过，可以从缓存中读取数据，这里的缓存指的就是页缓存。nfs组织页缓存是用的radix树。如下图所示：

文件被分割成以page为单位的数据块，这些page被组织成一棵多叉树。如果页大小为4096B，叶子层最左端的第一个页就保存着文件的前4096B、第二个页保存着接下来的4096B，以此类推。中间节点node记录了某一地址上的数据在哪一个page