Linux之NFS网络文件系统详解

简介

NFS背景介绍

• NFS是一种古老的用于在UNIX/Linux主机之间进行文件共享的协议。它古老到你必须穿着白大褂才能接近一台计算机的年代。在那个年代，所有的联网计算机都被认为是可信的，而不像现今这样，任何人都有多种多样方法能连接到你的计算机。因此，NFS在开发的时候专注于快速及易用的文件共享，而忽视了其安全性设计
• NFS（Network File System，网络文件系统）是FreeBSD支持的文件系统中的一种，它允许网络中的计算机（不同的计算机、不同的操作系统）之间通过TCP/IP网络共享资源，主要在unix系列操作系统上使用。
• NFS服务器可以让PC将网络中的NFS服务器共享的目录挂载到本地端的文件系统中，而在本地端的系统中看来，那个远程主机的目录就好像是自己的一个磁盘分区一样。
• 由于NFS支持的功能比较多，而不同的功能都会使用不同的程序来启动，每启动一个功能就会启用一些端口来传输数据，因此NFS的功能所对应的端口并不固定，而是随机取用一些未被使用的小于1024的端口用于传输。但如此一来就会产生客户端连接服务器的问题，因为客户端需要知道服务器端的相关端口才能够连接。此时就需要RPC
• RPC（Remote Procedure Call，远程过程调用）：由于服务器在启动NFS时会随机选取数个端口号，并主动向RPC注册，所以RPC知道每个NFS功能所对应的端口号，RPC将端口号通知给客户端，让客户端可以连接到正确的端口上去。RPC采用固定端口号port 111来监听客户端的需求并向客户端响应正确的端口号。

注意

在启动NFS之前，要先启动RPC，否则NFS会无法向RPC注册。另外，RPC若重新启动，原来注册的数据会消失不见，因此RPC重启后，它管理的所有服务都需要重新启动以重新向RPC注册。

生产应用场景

• NFS网络文件系统很像windows系统的网络共享、安全功能、网络驱动器映射，这也和linux系统里的Samba服务器类似。只不过一般情况下，windows网络共享服务或Samba服务用于办公局域网共享，而互联网中小型网站集群架构后端常用NFS进行数据共享，如果是大型网站，那可能会用到更复杂的分布式文件系统。
• 在企业集群架构的工作场景中，NFS作为所有前端web服务的共享存储，存储的内容一般包括网站用户上传的图片、附件、头像等，注意，网站的程序代码就不要放在NFS共享里了，因为网站程序是开发运维人员统一发布，不存在发布延迟问题，直接批量发布到web节点提供访问比共享到NFS里访问效率会更高些。
• NFS是当前互联网系统架构中常用的数据存储服务之一，中小型网站（2000万pv(页面浏览量)以下）公示应用频率居高，大公司或门户除了使用NFS外，还可能会使用更为复杂的分布式文件系统

NFS工作原理

示例图

流程

• 首先服务器端启动RPC服务，并开启111端口
• 之后服务器端启动NFS服务，并向RPC注册端口信息
• 客户端启动RPC（portmap服务），向服务端的RPC（portmap）服务请求服务端的NFS端口
• 服务端的RPC（portmap）服务反馈NFS端口信息给客户端。（服务器搭建成功后可以使用下列命令查看，一般都是2049）
• 

NFS的使用

安装

[root@server ~]# yum  install  nfs-utils   -y   #安装nfs

[root@server ~]# yum  install  rpcbind  -y # 安装rpc，默认已安装

配置文件

• 主配置文件：/etc/exports，该配置文件不一定存在
• /usr/sbin/exportfs：该文件是维护NFS共享目录资源的命令文件，可以使用命令重新共享/etc/exports的目录资源、卸载共享目录
• 日志目录：/var/lib/nfs
• 权限设置文件：/var/lib/nfs/etab

主配置文件分析

• /etc/exports 文件默认为空文件，需要输入nfs共享命令
• 格式：文件路径 允许访问的NFS客户端IP(权限参数)
• 
• 分析
  • 允许访问的NFS客户端：可以是IP地址或IP网段，如：
    • 192.168.80.129/24
    • 192.168.80.130/255.255.255.0
    • 192.168.80.0/24
    • *：允许所有主机访问
    • 

权限参数

必须写在圆括号中，且括号是紧挨着主机名的，权限的相关参数如下，多个参数之间使用逗号隔开

权限参数	作用
ro	只读
rw	读写（最终还是看文件系统rwx的权限）
root_squash	当NFS客户端以root账户访问时，映射为NFS服务器端的匿名账户（nobody），以普通账户访问时，映射为普通账户
no_root_squash	当NFS客户端以root账户访问时，映射为root账户（不推荐、不安全）
all_squash	无论NFS客户端使用什么账户访问，均映射为NFS 服务器的匿名账户（nobody）,推荐
no_all_squash	客户端普通账户访问服务器的数据时，实际的信息原样显示
sync	同步，同时将数据写入内存与硬盘中，保证数据不会丢失，推荐
async	异步，优先将数据保存到内存，然后在写入硬盘，效率高，但可能会数据丢失
anonuid= anongid=	将文件的用户和工作组映射为指定UID和GID，若不指定则默认为65534（nobody）

/etc/exports文件内容示例

• /home/public *(rw,sync) : 对所有主机共享/home/public目录，可读可写，同步传输
• /home/public 192.168.48.131/24(ro,all_squash,sync) : 只对131主机开发共享/home/public ，只读权限，客户端映射为nobody账户，同步传输
• /home/public 192.168.48.0/24(rw , sync , all_squash , anonuid=2000, anongid=2000): 对192.168.48.0网段中所有主机开放/home/public 目录，可读可写，同步传输，客户端映射为nobody，uid为2000，gid为2000

实验1

建立NFS服务器，使用客户端访问

• 第一步：服务端server操作（先恢复快照），完成准备工作

root@server ~]# setenforce  0

[root@server ~]# systemctl stop  firewalld

[root@server ~]# yum  install  nfs-utils  -y   #安装nfs

• 第二步：客户端node1操作（先恢复快照），完成准备工作

[root@node1 ~]# setenforce  0

[root@node1 ~]# systemctl stop  firewalld

[root@node1 ~]# yum  install  nfs-utils  -y  #安装nfs

• 第三步：服务端server操作，新建共享目录，并设置权限

[root@server ~]# mkdir -v /nfsfile
mkdir: 已创建目录 '/nfsfile'
[root@server ~]# echo "www.openlab.com" > /nfsfile/redme
[root@server ~]# ls /nfsfile
redme
[root@server ~]# cat /nfsfile/redme
www.openlab.com
[root@server ~]# chmod -Rf 777 /nfsfile
[root@server ~]# ll /nfsfile -d
drwxrwxrwx 2 root root 19  3月 12 23:17 /nfsfile

• 第四步：服务端server操作，修改nfs主配置文件/etc/exports

[root@server ~]# vim  /etc/exports
/nfsfile        192.168.80.130/24(rw,all_squash,sync)

• 第五步：服务端server操作，先启动RPC服务，后启动nfs服务

[root@server ~]# systemctl start rpcbind

[root@server ~]# systemctl start nfs-server

[root@server ~]# systemctl enable rpcbind

[root@server ~]# systemctl enable nfs-server

[root@server ~]# systemctl stop rpcbind

[root@server ~]# systemctl start rpcbind

• 第六步：客户端node1操作，通过命令查询共享数据并远程挂载使用

#查询远程共享信息：
[root@node1 ~]# showmount  -参数   服务器IP地址

#参数：
	-e     显示nfs服务器的共享列表
	-a     显示本地挂载的文件资源列表
	-v     显示版本号

[root@node1 ~]# showmount -e 192.168.80.129  #查询129的共享信息（共享目录和允许的IP地址）
Export list for 192.168.80.129:
/nfsfile 192.168.80.130


[root@node1 ~]# mkdir -v /nfs1    # 新建本地挂载目录
mkdir: 已创建目录 '/nfs1'
[root@node1 ~]# mount -t nfs 192.168.80.129:/nfsfile  /nfs1       #远程挂载（-t指明用哪种文件系统）
[root@node1 ~]# cd /nfs1   # 通过本地目录查看远程共享数据
[root@node1 nfs1]# ls
redme
[root@node1 nfs1]# cat redme
www.openlab.com

• 第七步：客户端node1操作，设置开机挂载，实现挂载永久性（在 /etc/fstab下）

[root@node1 nfs1]# vim   /etc/fstab   # 添加如下：
192.168.48.130:/nfsfile         /nfs1   nfs     defaults        0       0

# 重启后测试

nfs账户映射

实验2

• 基于上例，将 /nfsfile权限进行修改，查看客户端是否可以访问，是否可以写入数据

#定位server端
[root@server ~]# cat /etc/exports  #确认是否为rw写权限
/nfsfile    192.168.80.130(rw,all_squash,sync)


[root@server ~]# cd /nfsfile
[root@server nfsfile]# ll
总用量 4
-rwxrwxrwx 1 root root 16  3月 12 23:17 redme
[root@server nfsfile]# chmod -Rf 444 /nfsfile   #修改权限
[root@server nfsfile]# ll
总用量 4
-r--r--r-- 1 root root 16  3月 12 23:17 redme


#定位node1端
[root@node1 nfs1]# cd ~
[root@node1 ~]# cd /nfs1   #发现权限不够
-bash: cd: /nfs1: 权限不够



#定位server端
[root@server nfsfile]# chmod -Rf 777 /nfsfile  #多执行几次，可能有延迟


#定位node1端
[root@node1 ~]# cd /nfs1
[root@node1 nfs1]#

实验3

• 客户端访问服务端，演示账户映射

#定位node1端
[root@node1 nfs1]# touch test.txt
[root@node1 nfs1]# ll
总用量 4
-rwxrwxrwx 1 root   root   16  3月 12 23:17 redme
-rw-r--r-- 1 nobody nobody  0  3月 12 23:48 test.txt


#定位server端
[root@server nfsfile]# ll   # 注意：账户及工作组
总用量 4
-rwxrwxrwx 1 root   root   16  3月 12 23:17 redme
-rw-r--r-- 1 nobody nobody  0  3月 12 23:48 test.txt 

#修改为root_squash
[root@server nfsfile]# vim /etc/exports
/nfsfile        192.168.80.129/24(rw,root_squash,sync)

[root@server nfsfile]# exportfs -arv   # 不卸载，即可让配置文件生效
exporting 192.168.80.130:/nfsfile


#定位node1端
[root@node1 nfs1]# cd /
[root@node1 /]# su redhat  #切换到redhat用户
[redhat@node1 /]$ cd /nfs1
[redhat@node1 nfs1]$ ll
-rwxrwxrwx 1 root   root   16  3月 12 23:17 redme
-rw-r--r-- 1 nobody nobody  0  3月 12 23:48 test.txt

[redhat@node1 nfs1]$ touch text1.txt
[redhat@node1 nfs1]$ ll
总用量 4
-rwxrwxrwx 1 root   root   16  3月 12 23:17 redme
-rw-r--r-- 1 nobody nobody  0  3月 12 23:48 test.txt
-rw-rw-r-- 1 redhat redhat  0  3月 12 23:55 text1.txt
[redhat@node1 nfs1]$ su root
密码：
[root@node1 nfs1]#

#定位server端
[root@server nfsfile]# vim /etc/exports
/nfsfile    192.168.80.130(rw,all_squash,sync,anonuid=3000,anongid=3000)
[root@server nfsfile]# exportfs -arv  #不卸载，即可让配置文件生效
exporting 192.168.80.130:/nfsfile


#定位node1端
[root@node1 nfs1]# touch text2.txt
[root@node1 nfs1]# ll    # 注意：uid和guid
总用量 4
-rwxrwxrwx 1 root   root   16  3月 12 23:17 redme
-rw-r--r-- 1 nobody nobody  0  3月 12 23:48 test.txt
-rw-rw-r-- 1 redhat redhat  0  3月 12 23:55 text1.txt
-rw-r--r-- 1   3000   3000  0  3月 13 00:00 text2.txt

autofs自动挂载服务

产生原因

• 在一般NFS文件系统的使用过程中，如果客户端要使用服务端所提供的文件系统，可以在 /etc/fstab中设置开机时自动挂载，也可以在登录系统后手动利用mount来挂载

• 由于网络的问题，NFS服务器与客户端的连接不会一直存在，当我们挂载了NFS服务器之后，任何一方脱机都可能造成另外一方等待超时，如果在资源挂载后长期不使用，也会造成服务器硬件资源的浪费。

• 为了解决这样的问题，就出现了下面的想法：

  • 当客户端在有使用NFS文件系统的需求时才让系统自动挂载。
  • 当NFS文件系统使用完毕后（autofs默认自动卸载时间为300s即5分钟），让NFS自动卸载。

• autofs 自动挂载服务可以帮我们解决这一问题，该服务是运行在客户端的一种 Linux 系统守护进程，在用户需要使用该文件系统时才去动态挂载，从而节约了网络资源和服务器的硬件资源。

安装

# 客户端安装，服务端不用安装
[root@node1 ~]# yum install autofs -y   

配置文件分析

• 配置文件路径：/etc/auto.master

• 作用：处于生产环境中的 Linux 服务器，一般会同时管理许多设备的挂载操作。如果把这些设备挂载信息都写入到 autofs 服务的配置文件/etc/auto.master中，无疑会让主配置文件臃肿不堪，不利于服务执行效率，也不利于日后修改里面的配置内容，则需要将挂载的设备独立配置形成子文件，主配置文件只存储配置挂载设置的文件名

• /etc/auto.master文件内容格式：挂载目录 子配置文件路径

  • 挂载目录：不需要事先存在，因为autofs会主动建立该目录
  • 子配置文件路径：文件名可自定义
  • 例：/nfs /etc/auto.nfs

• 子配置文件名可以任意创建，内容格式：

  • 本地挂载子目录 [-挂载参数] 服务器地址:共享目录
  • 例：testmnt 192.168.48.130:/data

挂载参数

参数	功能
fg/bg	当执行挂载时，该挂载行为会在前台（fg）还是后台（bg）执行，若在前台执行，则mount会持续尝试挂载，直到成功或time out为止；若为后台执行，则mount会在后台持续多次进行mount，而不会影响到前台的程序运行。
soft/hard	hard表示当两者之间的任何一台主机脱机，则RPC会持续地呼叫，直到对方恢复连接为止。如果是soft的话，那RPC会在time out后重复呼叫，而非持续呼叫
intr	当使用上面提到的hard方式挂载时，若加上intr这个参数，则当RPC持续呼叫时，该次的呼叫是可以被中断的
rsize/wsize	读出（rsize）与写入（wsize）的区块大小。这个设置值可以影响客户端与服务器

实验4

服务器创建共享目录，客户端实现自动挂载

• 第一步：服务器与客户端都恢复快照，并关闭安全软件
• 第二步：安装软件

#定位server端
[root@server ~]# yum  install  nfs-utils  -y  #安装nfs服务
[root@server ~]# yum  install  rpcbind  -y  #安装rpc，默认已安装


# 定位node1端
[root@node1 ~]# yum  install  nfs-utils  -y  #安装nfs服务
[root@node1 ~]# yum  install  autofs  -y  #安装autofs服务

• 第三步：定位server端，新建共享目录，编辑nfs配置文件，设置文件权限

root@server ~]# mkdir  /data
[root@server ~]# vim   /etc/exports
/data   *(ro,sync,all_squash)


[root@server ~]# echo  "this is test"  > /data/file.txt
[root@server ~]# chmod  -Rf  777 /data

• 第四步：定位server端，启动服务，必须先启动rpcbind

[root@server ~]# systemctl start rpcbind  #先启动rpc服务
[root@server ~]# systemctl start nfs-server #再启动nfs服务

[root@server ~]# systemctl enable rpcbind   #设置开启自启动
[root@server ~]# systemctl enable nfs-server

• 第五步：定位node1端，编辑自动挂载主配置文件

#计划node1端，挂载目录为 /nfs/testmnt

[root@node1 ~]# vim /etc/auto.master
/nfs    /etc/auto.nfs            # 挂载的父目录及子配置文件（子配置文件自行命名）（/nfs不需要事先存在，因为autofs会主动建立该目录）

[root@node1 ~]# vim /etc/auto.nfs
testmnt         192.168.80.129:/data   # 挂载目录的子目录    nfs服务器ip地址:共享目录

• 第六步：定位node1端，启动服务

[root@node1 ~]# systemctl start autofs

[root@node1 ~]# systemctl enable autofs

• 第七步：定位node1端，测试

[root@node1 ~]# cd /nfs
[root@node1 nfs]# ls
[root@node1 nfs]# cd testmnt  #当进入挂载目录时，testmnt自动创建
[root@node1 testmnt]# ls
file.txt
[root@node1 testmnt]# cat file.txt
this is test
[root@node1 testmnt]# df -h
文件系统               容量  已用  可用 已用% 挂载点
devtmpfs               4.0M     0  4.0M    0% /dev
tmpfs                  968M     0  968M    0% /dev/shm
tmpfs                  388M  6.2M  382M    2% /run
/dev/mapper/rhel-root   16G  4.1G   12G   27% /
/dev/nvme0n1p1         395M  235M  161M   60% /boot
tmpfs                  194M   52K  194M    1% /run/user/42
tmpfs                  194M   36K  194M    1% /run/user/0
192.168.80.129:/data    16G  4.1G   12G   27% /nfs/testmnt

实验5：本机自动挂载光驱

本机自动挂载光驱

• 第一步：定位server端，恢复快照，关闭安全软件，安装autofs软件

[root@server ~]# yum  install  autofs  -y #安装autofs

• 第二步：计划光驱本地挂载目录为：/media/cdrom
• 第三步：编辑autofs主配置文件

[root@server ~]# vim  /etc/auto.master
/media  /etc/iso.aa

# /media 为最终挂载目录的父目录
# /etc/iso.aa：为子配置文件

• 第四步：编写子配置文件

[root@server ~]# vim  /etc/iso.aa
cdrom   -fstype=iso9660,ro,nosuid,nodev :/dev/sr0  # 注意：冒号前有空格

• 第五步：启动服务

[root@server ~]# systemctl start autofs

[root@server ~]# systemctl enable autofs

• 第六步：测试

[root@server ~]# umount  /dev/sr0   # 先卸载设备之前已挂载的光驱

[root@server ~]# df  -h             # 查看已挂载的设备信息
文件系统               容量  已用  可用 已用% 挂载点
devtmpfs               4.0M     0  4.0M    0% /dev
tmpfs                  968M     0  968M    0% /dev/shm
tmpfs                  388M  9.5M  378M    3% /run
/dev/mapper/rhel-root   16G  4.2G   12G   27% /
/dev/nvme0n1p1         395M  235M  160M   60% /boot
tmpfs                  194M  104K  194M    1% /run/user/0

[root@server ~]# cd  /media
[root@server media]# ls
[root@server media]# cd  cdrom   # 触发自动挂载
[root@server cdrom]# ls          
AppStream  EFI   extra_files.json  images    media.repo               RPM-GPG-KEY-redhat-release
BaseOS     EULA  GPL               isolinux  RPM-GPG-KEY-redhat-beta
[root@server cdrom]# df -h     
文件系统               容量  已用  可用 已用% 挂载点
devtmpfs               4.0M     0  4.0M    0% /dev
tmpfs                  968M     0  968M    0% /dev/shm
tmpfs                  388M  9.5M  378M    3% /run
/dev/mapper/rhel-root   16G  4.2G   12G   27% /
/dev/nvme0n1p1         395M  235M  160M   60% /boot
tmpfs                  194M  104K  194M    1% /run/user/0
/dev/sr0               8.5G  8.5G     0  100% /media/cdrom