NFS共享储文件系统

一、NFS概述

1.什么是NFS

NFS是network file system ，通常称为NFS共享存储

2. 为什么需要NFS

NFS 的主要功能是通过”局域网“络让不同主机系统之间可以共享目录。

• 在网站集群架构中如果没有共享存储的情况如下:
  1.用户A上传图片经过负载均衡，负载均衡将上传请求调度至WEB1服务器上。
  2.用户B访问A用户上传的图片，此时B用户被负载均衡调度至WEB2上，因为WEB2上没有这张图片，所以B用户无法看到A用户传的图片。
  
• 在网站集群架构中如果有共享存储的情况如下:
  1.A用户上传图片无论被负载均衡调度至WEB1还是WEB2, 最终数据都被写入至共享存储
  2.B用户访问A用户上传图片时，无论调度至WEB1还是WEB2，最终都会上共享存储访问对应的文件，这样就可以访问到资源了，类似于session共享机制。
  

3.使用NFS共享存储能解决集群架构的什么问题

解决多台web静态资源的共享(所有客户端都挂载服务端，看到的数据都一样)
解决多台web静态资源一致性(如果客户端A删除NFS服务上的文件，客户端B上也会看不见文件)
可以避免多台web磁盘空间的浪费

4. NFS需注意事项

1. 由于用户请求静态资源每次都需要web连接NFS服务获取，那么势必会带来一定的网络开销、以及网络延时、所以增加NFS服务并不能给网站带来访问速度的提升。

2. 如果希望对上传的图片、附件等静资源进行加速，建议将静态资源统一存放至NFS服务端。这样便于后期统一推送至CDN，以此来实现资源的加速。

二、NFS实现原理

本地文件操作方式

1. 当用户执行mkdir命令，BashShell会将其翻译给内核。
2. Kernel内核解析完成后会驱动对应的磁盘设备，完成创建目录的操作。

NFS创建文件方式

1、客户端首先需要挂载； /mnt —》rpc–》 nfs --》/data

1. 进行端口映射；完成服务端的链接；
2. 判断来源的地址是否为授权地址；
3. 完成挂载的操作

2、创建文件

1. NFS客户端执行增、删改查等操作，客户端会使用不同的函数对该操作进行封装
2. NFS客户端会通过TCP/IP的方式传递给NFS服务端。
3. NFS服务端接收到请求后，会先调用portmap进程进行端口映射。
4. nfsd进程用于判断NFS客户端是否拥有权限连接NFS服务端。
5. Rpc.mount进程判断客户端是否有对应的权限进行验证。
6. 最后NFS服务端会将客户端的函数转换为本地能执行的命令，由内核驱动硬件完成操作。

注意：rpc是一个远程过程调用，那么使用nfs必须有rpc服务。

三、 NFS服务实战

1. 环境准备

角色	外网IP（NAT）	内网IP(LAN)
NFS服务端	eth0:10.0.0.32	eth1:172.16.1.32
NFS客户端	eth0:10.0.0.31	eth1:172.16.1.31

2. NFS服务安装

[root@nfs ~]# yum install nfs-utils rpcbind -y

3.NFS服务配置

配置nfs服务，nfs服务程序的配置文件为/etc/exports，需要严格按照共享目录的路径 允许访问的NFS客户端（共享权限参数）格式书写，定义要共享的目录与相应的权限，具体书写方式如下图所示

配置场景，将nfs服务端的/data目录共享给172.16.1.0/24网段内的所有主机
1.所有客户端主机都拥有读写权限
2.在将数据写入到NFS服务器的硬盘中后才会结束操作，最大限度保证数据不丢失
3.将所有用户映射为本地的匿名用户(nfsnobody)

[root@nfs ~]# vim /etc/exports   
/data   172.16.1.0/24(rw,sync,all_squash)

4. NFS服务初始化

1.建立需要共享的目录
2.为对应目录设置权限
3.最好重新添加新硬盘，将新硬盘挂载在/data目录下

[root@nfs ~]# mkdir /data
[root@nfs ~]# chown -R nfsnobody.nfsnobody /data

[root@nfs ~]# fdisk /dev/sdb # 添加了一块500G的磁盘，只分一个主分区
[root@nfs ~]# mkfs.xfs /dev/sdb1 # 制作xfs文件系统
[root@nfs ~]# mount /dev/sdb1 /data # 挂载
[root@nfs ~]# lsblk /dev/sdb  # 查看
NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sdb      8:16   0  500G  0 disk 
└─sdb1   8:17   0  500G  0 part /data

5. NFS服务启动

[root@nfs ~]# systemctl enable nfs-server
[root@nfs ~]# systemctl restart nfs-server

[root@nfs data]# cat /var/lib/nfs/etab 
/data	172.16.1.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,all_squash,no_subtree_check,secure_locks,acl,no_pnfs,anonuid=65534,anongid=65534,sec=sys,rw,secure,root_squash,all_squash)

6 客户端NFS服务挂载

NFS客户端的配置步骤也十分简单
先使用 showmount 命令，查询NFS服务器的远程共享信息
然后使用 mount 命令执行挂载操作

6.1 安装nfs

客户端安装nfs-utils，会自动启动rpcbind服务

[root@nfs-client ~]# yum install nfs-utils -y

6.2 客户端查询远程nfs信息

showmount -e

[root@nfs-client ~]# showmount -e 172.16.1.32
Export list for 172.16.1.32:
/data 172.16.1.0/24

6.3. 客户端执行挂载

[root@nfs-client ~]# mkdir /nfsdata  # 创建本地目录为远程目录入口
[root@nfs-client ~]# mount -t nfs 172.16.1.32:/data /nfsdata/ # 挂载
[root@nfs-client ~]# df -h  # 查看
Filesystem         Size  Used Avail Use% Mounted on
devtmpfs           476M     0  476M   0% /dev
tmpfs              487M     0  487M   0% /dev/shm
tmpfs              487M  7.6M  479M   2% /run
tmpfs              487M     0  487M   0% /sys/fs/cgroup
/dev/sda3           48G  1.6G   46G   4% /
/dev/sda1          497M  125M  373M  25% /boot
tmpfs               98M     0   98M   0% /run/user/0
172.16.1.32:/data  500G   33M  500G   1% /nfsdata

6.4 永久挂载

[root@nfs-client ~]# sed -i '$a 172.16.1.32:/data /nfsdata nfs default 0 0 ' /etc/fstab 

6.5 如何卸载

[root@nfs-client ~]# umount /nfsdata
#注意:卸载的时候如果提示”umount.nfs: /nfsdata: device is busy”  
#1.切换至其他目录, 然后在进行卸载。
#2.NFS Server宕机, 强制卸载umount -lf /nfsdata

6.6 挂载优化

在企业工作场景，通常情况NFS服务器共享的只是普通静态数据（图片、附件、视频），不需要执行suid、exec等权限，挂载的这个文件系统只能作为数据存取之用，无法执行程序，对于客户端来讲增加了安全性。例如: 很多木马篡改站点文件都是由上传入口上传的程序到存储目录，然后执行。

#通过mount -o指定挂载参数，禁止使用suid，exec，增加安全性能
[root@nfs-client ~]# mount -t nfs -o nosuid,noexec 172.16.1.31:/data /nfsdata

挂载参数
 1.async/sync：使用同步或异步方式存储数据；默认 async
 2.user/nouser：是否允许普通用户使用mount命令挂载。默认nouser
 3.exec/noexe：是否允许可执行文件执行。默认exec
 4.suid/nosuid：是否允许存在suid属性的文件。默认suid
 5.auto/noauto：执行 mount -a 命令时，此文件系统是否被主动挂载。默认auto
 6.rw/ro：是否以只读或者读写模式进行挂载。默认rw
 7.defaults：具有rw,suid,dev,exec,auto,nouser,async,rw等参数；

详见：Linux磁盘管理

四、NFS配置详解

执行man exports命令，然后切换到文件结尾，可以快速查看如下样例格式：
rw：读写权限
ro：只读权限
root_squash：当NFS客户端以root管理员访问时，映射为NFS服务器的匿名用户(不常用)
no_root_squash：当NFS客户端以root管理员访问时，映射为NFS服务器的root管理员(不常用)
all_squash：无论NFS客户端使用什么账户访问，均映射为NFS服务器的匿名用户(常用)
sync：同时将数据写入到内存与硬盘中，保证不丢失数据
async：优先将数据保存到内存，然后再写入硬盘；这样效率更高，但可能会丢失数据
anonuid：配置all_squash使用,指定NFS的用户UID，必须存在系统
anongid：配置all_squash使用,指定NFS的用户GID，必须存在系统

4.1 验证 ro权限

服务端更改配置

[root@nfs data]# cat /etc/exports
/data 172.16.1.0/24(ro,sync,all_squash)

[root@nfs data]# systemctl restart nfs-server

然后去客户端试着查看/nfsdata和往里面创建文件，看看是否有权限

[root@nfs-client nfsdata]# cat a.txt   # 可以查看内容
123

[root@nfs-client nfsdata]# touch c.txt # 但是已经没有写权限了
touch: cannot touch ‘c.txt’: Read-only file system

2 .验证all_squash权限

通常all_squash、anonuid、anongid 这三个权限一起出现
由于nfs-server 服务默认以nfsnobody用户启用，但是为了以后进程的统一调度，我们可以指定用户启用
1.服务端anonuid参数指定用户id为666 ，anongid参数指定组id为666

[root@nfs ~]# cat /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)

# 创建组和用户
[root@nfs ~]# groupadd -g 666 www
[root@nfs ~]# useradd -u 666 -g 666 www
[root@nfs ~]# chown -R www.www /data/ # 重新给共享目录授权
[root@nfs ~]# systemctl restart nfs-server # 重启服务端

2.客户端验证，会发现客户端文件的权限为 666，但可以正常写入数据

# 客户端重新挂载
[root@nfs-client nfsdata]# umount /nfsdat
[root@nfs-client nfsdata]# mount -t nfs 172.16.1.32:/data /nfsdata/ # 或者mount -a 因为已经写入文件了
[root@nfs-client nfsdata]# ll 
total 4
-rw-r--r-- 1 666 666 4 Aug  5 00:40 a.txt
-rw-r--r-- 1 666 666 4 Aug  5 00:41 b.txt

3.建议，客户端也创建一个uid为666，gid为666，统一身份，避免后续出现权限不足的情况

[root@nfs-client nfsdata]# groupadd -g 666 www
[root@nfs-client nfsdata]# useradd -g 666 -u 666 www
[root@nfs-client nfsdata]# id wwwuid=666(www) gid=666(www) groups=666(www)
#再次检查权限
[root@nfs-client nfsdata]# ll /mnt/
total 4
-rw-r--r-- 1 666 666 4 Aug  5 00:40 a.txt
-rw-r--r-- 1 666 666 4 Aug  5 00:41 b.txt



[root@nfs-client nfsdata]# cat c.txt
[root@nfs-client nfsdata]# ll
total 4
-rw-r--r-- 1 www www 4 Aug  5 00:40 a.txt
-rw-r--r-- 1 www www 4 Aug  5 00:41 b.txt
-rw-r--r-- 1 www www 0 Aug  5 14:25 c.txt

五、NFS存储总结

1.NFS存储优点

1.NFS简单易用、方便部署、数据可靠、服务稳定、满足中小企业需求。
2.NFS的数据都在文件系统之上，所有数据都是能看得见

2.NFS存储局限

1.存在单点故障, 如果构建高可用维护麻烦web->nfs()–实时同步–>backup
替代的分布式文件系统有：

1. gfs 文件系统 可以水平扩容
2. OSS文件系统，基于http方式可以访问
3. Ceph文件系统

2.NFS数据都是明文， 并不对数据做任何校验，也没有密码验证(强烈建议内网使用)。

3.NFS应用建议

1. 建议将静态数据jpg\png\mp4\css\js尽可能放置CDN场景进行加速，以此来减少后端压力
2. 如果没有缓存或架构、代码等，本身历史遗留问题太大，在多存储也没什么意义