网络文件共享服务（三）：NFS

NFS用前了解及注意事项

了解：
如果Samba服务程序的配置太麻烦，而且恰巧需要共享文件的主机都是Linux系统，可以选用nfs。
NFS（网络文件系统）服务可以将远程Linux系统上的文件共享资源挂载到本地主机的目录上，从而使得本地主机（Linux客户端）基于TCP/IP协议，像使用本地主机上的资源那样读写远程Linux系统上的共享文件。

nfs是基于rpc来实现网络文件系统共享的。RPC（Remote Procedure Call Protocol），远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。

注意事项：
1.一台机器不要同时做 NFS 的服务端和 NFS 的客户端。如果同时作了 NFS 的服务端和客户端，那么在关机的时候，会一直夯住，可能十分钟之后甚至更久才能关闭成功。

如上图示：

当我们在NFS服务器设置好一个共享目录/home/public后，其他的有权访问NFS服务器的NFS客户端就可以将这个目录挂载到自己文件系统的某个挂载点，这个挂载点可以自己定义，如上图客户端A与客户端B挂载的目录就不相同。并且挂载好后我们在本地能够看到服务端/home/public的所有数据。如果服务器端配置的客户端只读，那么客户端就只能够只读。如果配置读写，客户端就能够进行读写。挂载后，NFS客户端查看磁盘信息命令：#df –h。

既然NFS是通过网络来进行服务器端和客户端之间的数据传输，那么两者之间要传输数据就要有想对应的网络端口，NFS服务器到底使用哪个端口来进行数据传输呢？基本上NFS这个服务器的端口开在2049,但由于文件系统非常复杂。因此NFS还有其他的程序去启动额外的端口，这些额外的用来传输数据的端口是随机选择的，是小于1024的端口；既然是随机的那么客户端又是如何知道NFS服务器端到底使用的是哪个端口呢？这时就需要通过远程过程调用（Remote Procedure Call,RPC）协议来实现了！

NFS工作原理及流程

nfs是基于rpc来实现网络文件系统共享的。所以我们先来说说rpc：

• RPC（Remote Procedure Call）即远程过程调用。是一种通过网络从远程计算机程序上请求服务。
• RPC采用客户机/服务器模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。
• RPC 最主要的功能就是在指定每个 NFS 功能所对应的 port number ，并且回报给客户端，让客户端可以连结到正确的port上去。

rpc工作机制：

• 客户端程序发起一个RPC系统调用基于TCP协议发送给另一台主机（服务端）。
• 服务端监听在某个套接字上，当收到客户端的系统调用请求以后，将收到的请求和其所传递的参数通过本地的系统调用执行一遍，并将结果返回给本地的服务进程。
• 服务端的服务进程收到返回的执行结果后将其封装成响应报文，再通过rpc协议返回给客户端。
• 客户端调用进程接收答复信息，获得进程结果，然后调用执行继续进行。

nfs服务器端运行着四个进程：

idmapd 
	//实现用户帐号的集中映射，把所有的帐号都映射为NFSNOBODY，但是在访问时却能以本地用户的身份去访问
mountd  
	//用于验证客户端是否在允许访问此NFS文件系统的客户端列表中，在则允许访问（发放一个令牌，持令牌去找nfsd），否则拒绝访问   
	//mountd的服务端口是随机的，由rpc服务（portmapper）提供随机端口号。
nfsd    
	//nfs的守护进程，监听在2049/tcp和2049/udp端口上
   	//不负责文件存储（由NFS服务器本地内核负责调度存储），用于理解客户端发起的rpc请求，并将其转交给本地内核，而后存储在指定的文件系统上。
portmapper  
	//NFS服务器的rpc服务，其监听于111/TCP和111/UDP套接字上，用于管理远程过程调用（RPC）

NFS的简单工作流程：

• 客户端发起查看file信息的指令（ls file）给内核，内核通过NFS模块得知此文件并不是本地文件系统中的文件，而是在远程NFS主机上的一个文件
• 客户端主机的内核通过RPC协议把查看file信息的指令（系统调用）封装成rpc请求通过TCP的111端口发送给NFS服务端主机的portmapper
• NFS服务端主机的portmapper（RPC服务进程）告诉客户端说NFS服务端的mountd服务在某某端口上，你去找它验证

因为mountd在提供服务时必须要向portmapper注册一个端口号，所以portmapper是知道其工作于哪个端口的。

• 客户端得知服务端的mountd进程端口号后，通过已知的服务端mountd端口号请求验证。
• mountd收到验证请求后验证发起请求的客户端是否在允许访问此NFS文件系统的客户端列表中，在则允许访问（发放一个令牌，持令牌去找nfsd），否则拒绝访问。
• 验证通过后客户端持mountd发放的令牌去找服务端的nfsd进程，请求查看某文件。
• 服务端的nfsd进程发起本地系统调用，向内核请求查看客户端要查看的文件的信息
  服务端的内核执行nfsd请求的系统调用，并将结果返回给nfsd服务。
• nfsd进程收到内核返回的结果后将其封装成rpc请求报文并通过tcp/ip协议返回给客户端。

RPC与NFS通讯原理：
因为NFS支持的功能相当多，而不同的功能都会使用不同的程序来启动，每启动一个功能就会启用一些端口来传输数据，因此NFS的功能对应的端口并不固定，客户端要知道NFS服务器端的相关端口才能建立连接进行数据传输，而RPC就是用来统一管理NFS端口的服务，并且统一对外的端口是111，RPC会记录NFS端口的信息，如此我们就能够通过RPC实现服务端和客户端沟通端口信息。PRC最主要的功能就是指定每个NFS功能所对应的port number,并且通知客户端，记客户端可以连接到正常端口上去。

那么RPC又是如何知道每个NFS功能的端口呢？

首先当NFS启动后，就会随机的使用一些端口，然后NFS就会向RPC去注册这些端口，RPC就会记录下这些端口，并且RPC会开启111端口，等待客户端RPC的请求，如果客户端有请求，那么服务器端的RPC就会将之前记录的NFS端口信息告知客户端。如此客户端就会获取NFS服务器端的端口信息，就会以实际端口进行数据的传输了。

注意： 在启动NFS SERVER之前，首先要启动RPC服务（即portmap服务，下同）否则NFS SERVER就无法向RPC服务区注册，另外，如果RPC服务重新启动，原来已经注册好的NFS端口数据就会全部丢失。因此此时RPC服务管理的NFS程序也要重新启动以重新向RPC注册。特别注意：一般修改NFS配置文档后，是不需要重启NFS的，直接在命令执行systemctl reload nfs或exportfs –rv即可使修改的/etc/exports生效

下图解释NFS的工作原理及其它用途
1.NFS工作原理

1. 首先服务器端启动RPC服务，并开启111端口。
2. 服务器端启动NFS服务，并向RPC注册端口信息。
3. 客户端启动RPC（portmap服务），向服务端的RPC(portmap)服务请求服务端的NFS端口。
4. 服务端的RPC(portmap)服务反馈NFS端口信息给客户端。
5. 客户端通过获取的NFS端口来建立和服务端的NFS连接并进行数据的传输。

2.NFS工作过程
可明显看到RPC的功能：RPC 最主要的功能就是在指定每个 NFS 功能所对应的 port number ，并且回报给客户端，让客户端可以连结到正确的port上去。

3.企业生产集群有NFS共享存储访问示意图：

4.

exports文件的格式

nfs的主配置文件是/etc/exports，在此文件中，可以定义NFS系统的输出目录（即共享目录）、访问权限和允许访问的主机等参数。该文件默认为空，没有配置输出任何共享目录，这是基于安全性的考虑，如此即使系统启动了NFS服务也不会输出任何共享资源。

编写格式：共享目录的路径 允许访问的NFS客户端 (共享权限参数)，从而定义共享的目录与相应的权限。
共享权限参数(不同参数用"，"分隔)。
访问权限参数：

访问权限选项	说明
ro	设置输出目录的权限为：只读
rw	设置输出目录的权限为：可读写

用户映射选项

用户映射选项	说明
all_squash	将远程访问的所有普通用户及所属组都映射为匿名用户或用户组(nfsnobody)
no_all_squash	不将远程访问的所有普通用户及所属用户组都映射为匿名用户或用户组(默认设置)
root_squash	将root用户及所属用户组都映射为匿名用户或用户组(默认设置)
no_root_squash	不将root用户及所属用户组都映射为匿名用户或用户组
anonuid=xxx	将远程访问的所有用户都映射为匿名用户，并指定该匿名用户为本地用户帐户(UID=xxx)
anongid=xxx	将远程访问的所有用户组都映射为匿名用户组，并指定该匿名用户组为本地用户组(GID=xxx)

常用的其它选项

其它选项	说明
secure	限制客户端只能从小于1024的TCP/IP端口连接NFS服务器(默认设置)
insecure	允许客户端从大于1024的TCP/IP端口连接NFS服务器
sync	将数据同步写入内存缓冲区或磁盘中，效率较低，但可保证数据一致性
async	将数据先保存在内存缓冲区中，必要时才写入磁盘
wdelay	检查是否有相关的写操作，如果有则这些写操作一起执行，可提高效率(默认设置)
no_wdelay	若有写操作则立即执行，应与sync配置使用
subtree_check	若输出目录是一个子目录，则NFS服务器将检查其父目录的权限(默认设置)
no_subtree_check	即使输出目录是一个子目录，NFS服务亦不检查其父目录的权限，可提高效率
nohide	若将一个目录挂载到另一个目录之上，则原来的目录通常就被隐藏起来或看起来像空的一样。要禁用这种行为，需启用hide选项

showmount命令：

在哪里？：在nfs-utils包中
作用：查询NFS服务器的远程共享信息
格式：#showmount 参数 IP
showmount 输出格式为：共享的目录名称 允许使用客户端地址

参数	说明
-e	显示NFS服务器的共享列表
-a	显示本机挂载的文件资源的情况NFS资源的情况
-v	显示版本号

NFS的相关文件：

• 主要配置文件：/etc/exports
  这是 NFS的主要配置文件了。该文件是空白的，有的系统可能不存在这个文件，主要手动建立。NFS的配置一般只在这个文件中配置即可。
• NFS 文件系统维护指令：/usr/sbin/exportfs
  这个是维护 NFS 分享资源的指令，可以利用这个指令重新分享/etc/exports 变更的目录资源、将 NFS Server 分享的目录卸除或重新分享。
• 分享资源的登录档：/var/lib/nfs/*tab
  在 NFS 服务器的登录文件都放置到 /var/lib/nfs/目录里面，在该目录下有两个比较重要的登录档， 一个是 etab ，主要记录了 NFS 所分享出来的目录的完整权限设定值；另一个 xtab则记录曾经链接到此 NFS 服务器的相关客户端数据。
• 客户端查询服务器分享资源的指令：/usr/sbin/showmount
  这是另一个重要的 NFS 指令。exportfs 是用在 NFS Server 端，而 showmount 则主要用在 Client 端。showmount 可以用来察看 NFS 分享出来的目录资源。

NFS服务搭建及使用

实验环境：
服务端：192.168.171.129（centos7）
客户端：192.168.171.128（centos7）
需要的安装包：
nfs-utils：NFS主程序，nfs-utils包为内核nfs服务器提供 rpc.nfsd 及 rpc.mountd 这两个 NFS daemons 与其他相关 documents 与说明文件、执行文件等的软件！这个就是 NFS 服务所需要的主要软件。还提供了showmount程序用于查询在远程主机上装载守护程序。
rpcbind：RPC主程序，NFS 其实可以被视为一个 RPC 服务，因为启动任何一个 RPC 服务之前，我们都需要做好 port 的对应 (mapping) 的工作才行，这个工作其实就是『 rpcbind 』这个服务所负责的！也就是说， 在启动任何一个 RPC 服务之前，我们都需要启动 rpcbind 才行！ (在 CentOS 5.x 以前这个软件称为 portmap，在 CentOS 6.x 之后才称为 rpcbind 的！)。

服务器：
主要步骤：
	1.关闭防火墙和selinux；
	2.下载nfs-utils和rpcbind包。
	3.创建共享目录。
	4.编写/etc/exports配置文件。
	5.开启nfs-server和rpcbind服务。
	6.使用showmount 命令检查
[root@server ~]# systemctl stop firewalld
[root@server ~]# iptables -F
[root@server ~]# getsebool
getsebool:  SELinux is disabled

[root@server ~]# rpm -qa  rpcbind nfs-utils
[root@server ~]#yum  install nfs-utils rpcbind

[root@server ~]# mkdir /data/nfs
[root@server ~]# chmod -Rf 777 /data/nfs
[root@server ~]# echo "awdbhaiud" >/data/nfs/exam.txt

[root@server ~]# vim /etc/exports
/data/nfs 192.168.171.*(rw,root_squash,async)

[root@server ~]# systemctl start rpcbind
[root@server ~]# systemctl start nfs-server

[root@server ~]# showmount  -e 192.168.171.129
Export list for 192.168.171.129:
/data/nfs 192.168.171.*

客户端：
Linux:
[root@client ~]#yum install nfs-utils
[root@client ~]# showmount  -e 192.168.171.129
Export list for 192.168.171.129:
/data/nfs 192.168.171.*

[root@client ~]# mkdir -p /var/test_nfs

[root@client ~]# mount -t nfs 192.168.171.129:/data/nfs  /var/test_nfs
[root@client ~]# df -h
Filesystem                 Size  Used Avail Use% Mounted on
devtmpfs                   634M     0  634M   0% /dev
tmpfs                      646M     0  646M   0% /dev/shm
tmpfs                      646M  9.6M  636M   2% /run
tmpfs                      646M     0  646M   0% /sys/fs/cgroup
/dev/mapper/centos-root     37G  6.5G   30G  18% /
/dev/sr0                    11G   11G     0 100% /mnt/cdrom
/dev/sda1                 1014M  137M  878M  14% /boot
tmpfs                      130M     0  130M   0% /run/user/0
192.168.171.129:/data/nfs   37G  6.9G   30G  19% /var/test_nfs

[root@client ~]# vim /etc/fstab
# /etc/fstab
# Created by anaconda on Sun Nov 17 04:30:51 2019
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root /                       xfs     defaults        0 0
UUID=412ad716-2b4f-4d95-9f08-7589735f8ada /boot                   xfs     defaults        0 0
/dev/mapper/centos-swap swap                    swap    defaults        0 0
#/dev/sr0               /mnt/cdrom1             iso9660 defaults        0 0
/dev/sr0 /mnt/cdrom iso9660 defaults 0 0
#//192.168.171.129/database   /database         cifs            credentials=/root/auth.smb 0 0
192.168.171.129:/data/nfs /var/test_nfs         nfs     defaults        0 0

NFS开启如何开启防火墙，及如何访问？

在不开启nfs-server的情况下，先只开启rpcbind服务，查看其端口开放：

在编辑修改/etc/exports文件后，开启rpcbind和nfs-server服务后，rpcbind服务端口开放：

不做任何修改，再重启rpcbind服务和nfs-server服务后：其它端口随机改变：

由此可见，rcpbind服务有些开启的端口是随着rpcbind,nfs服务重启后随机开启的,其中portmapper固定端口111，nfs-server固定端口2049。

常规的一些NFS服务设置我们已经了解了。那么对于端口问题，很多朋友并不是很清楚。这里我们就来详细介绍一下端口的分配。portmapper在NFS服务启动的时候给每一个NFS服务分配了一个动态的端口,如何才能让NFS client在使用RHEL/Fedora/CentOS linux iptales防火墙时可以正常使用NFS服务呢?

为了防止其它端口随机改变，Portmap 静态端口—在/etc/sysconfig/nfs文件中定义的一系列TCP/UDP端口可编辑/etc/sysconfig/nfs文件，修改其端口并取消注释，设置为固定端口：

#vim /etc/sysconfig/nfs
	RQUOTAD_PORT=1001(该参数不知作用，实验证明其实不加此参数，好像短期也没什么问题)
	LOCKD_TCPPORT=32803
	LOCKD_UDPPORT=32769
	MOUNTD_PORT=892
	STATD_PORT=6003(该参数不知作用，实验证明其实不加此参数，好像短期也没什么问题)
	STATD_OUTGOING_PORT=6006(该参数不知作用，实验证明其实不加此参数，好像短期也没什么问题)
#systemctl restart rpcbind
#systemctl restart nfs-server

修改完/etc/sysconfig/nfs文件参数后，再重启rpcbind，nfs-server服务：
#systemctl restart rpcbind
#systemctl restart nfs-server

经测试：即使重启rpcbind和nfs-server服务后，rpcinfo –p查看，端口也不会发生改变。

由此可以引出：在nfs-server端可开启防火墙，然后开通111,892,2049,32769,32803端口的udp,tcp。客户端即可在server端开启防火墙的情况下依旧可以正常访问nfs服务。

开启firewalld防火墙后，客户端再访问192.168.161.128nfs服务：
客户端：
[root@localhost ~]# showmount -e 192.168.161.128
clnt_create: RPC: Port mapper failure - Unable to receive: errno 113 (No route to host)
//报错没有路由到该主机

服务端：
修改/etc/sysconfig/nfs配置文件后，再在防火墙上开发这些端口：
[root@gaokai ~]#  systemctl start firewalld
[root@gaokai ~]#  firewall-cmd  --zone=public --add-ports=892/tcp
[root@gaokai ~]#  firewall-cmd  --zone=public --add-port=892/tcp
[root@gaokai ~]#  firewall-cmd  --zone=public --add-port=892/udp
[root@gaokai ~]#  firewall-cmd  --zone=public --add-port=2049/udp
[root@gaokai ~]#  firewall-cmd  --zone=public --add-port=2049/tcp
[root@gaokai ~]#  firewall-cmd  --zone=public --add-port=32769/tcp
[root@gaokai ~]#  firewall-cmd  --zone=public --add-port=32769/udp
[root@gaokai ~]#  firewall-cmd  --zone=public --add-port=32803/udp
[root@gaokai ~]#  firewall-cmd  --zone=public --add-port=32803/tcp
[root@gaokai ~]#  firewall-cmd  --zone=public --list-ports
[root@gaokai ~]#  firewall-cmd  --zone=public --add-port=111/udp
[root@gaokai ~]#  firewall-cmd  --zone=public --add-port=111/tcp
[root@gaokai ~]#  firewall-cmd  --zone=public --list-ports
892/tcp 892/udp 2049/udp 2049/tcp 32769/tcp 32769/udp 32803/udp 32803/tcp 111/udp 111/tcp
//这些端口开放只是临时的，会即时生效，但重启firewalld后这些策略会丢失。如果想要配置为永久模式，需要加上--permanent参数，
  然后在最后#firewall-cmd --reload重启生效。

客户端：
#showmount  –e 192.168.171.128
Export list for 192.168.171.128:
/data/nfs 192.168.171.* 

参考网站：
网站1：https://www.cnblogs.com/xiaoleiel/p/8340406.html
网站2：https://www.cnblogs.com/longchengruoxi/p/13156444.html

nfs优缺点：
1）优点
a.节省本地存储空间将常用的数据存放在一台服务器可以通过网络访问
b.简单容易上手
c.方便部署非常快速，维护十分简单
2）缺点
a.局限性容易发生单点故障，及server机宕机了所有客户端都不能访问
b.在高并发下NFS效率/性能有限
c.客户端没用用户认证机制，且数据是通过明文传送，安全性一般（一般建议在局域网内使用）
d.NFS的数据是明文的，对数据完整性不做验证
e.多台机器挂载NFS服务器时，连接管理维护麻烦