在K8S集群中如何搭建一个Linux文件共享服务器，使得所有pod实例可以实现内网文件的高速下载

在Kubernetes (K8S) 集群中，您可以通过以下步骤在集群内的服务器上部署一个文件共享服务器，并在内网中使用这个文件共享服务器提高文件下载的效率。

1. 部署文件共享服务器

您可以使用 NFS（Network File System） 或者 Samba 作为文件共享服务器。以下是使用 NFS 的步骤：

1.1 安装 NFS 服务器

首先，选择一台服务器作为文件共享服务器，并安装 NFS 服务器。

sudo apt update
sudo apt install nfs-kernel-server -y

1.2 配置共享目录

创建一个目录用于共享文件，并配置权限。

sudo mkdir -p /var/nfs/general
sudo chown nobody:nogroup /var/nfs/general

编辑 /etc/exports 文件，添加如下配置：

/var/nfs/general 192.168.0.0/24(rw,sync,no_subtree_check)

/var/nfs/general 是您要共享的目录路径。

192.168.0.0/24 是允许访问该共享目录的客户端网络范围（根据实际情况替换）。

rw 选项表示该目录为读写。如要现在客户端只读权限可以设置为ro

然后应用配置

sudo exportfs -a
sudo systemctl restart nfs-kernel-server

1.3 在 Kubernetes 集群中创建 Persistent Volume (PV) 和 Persistent Volume Claim (PVC)

创建一个 PV 定义文件 nfs-pv.yaml，内容如下：

apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv
spec:
  capacity:
    storage: 500Gi
  accessModes:
    - ReadWriteMany
  nfs:
    path: /var/nfs/general
    server: 192.168.0.1  # 替换为您的NFS服务器IP

创建 PVC 文件 nfs-pvc.yaml，内容如下：

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nfs-pvc
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 100Gi

然后通过 kubectl 命令创建 PV 和 PVC：

kubectl apply -f nfs-pv.yaml
kubectl apply -f nfs-pvc.yaml

1.4 在 Pod 中挂载 NFS 共享

在 Pod 的配置文件中，将 PVC 挂载为一个目录。例如，修改您的 Deployment 文件：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nfs-client
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nfs-client
  template:
    metadata:
      labels:
        app: nfs-client
    spec:
      containers:
        - name: nfs-client
          image: ubuntu
          command: ["/bin/sh", "-c", "while true; do sleep 30; done;"]
          volumeMounts:
            - mountPath: "/mnt/nfs"
              name: nfs-storage
      volumes:
        - name: nfs-storage
          persistentVolumeClaim:
            claimName: nfs-pvc

这会将 NFS 共享目录挂载到 /mnt/nfs，并且可以从所有Pod中访问。

2. 使用文件共享服务器提高下载效率

现在，所有服务器都可以通过挂载 NFS 共享目录 /mnt/nfs 来访问文件。可以将大文件上传到 /mnt/nfs，所有服务器在下载时都会从本地网络中获取文件，从而显著提高下载效率。

3. 安全与管理

确保您使用合适的权限和用户配置来保护文件服务器，并根据需要进行定期备份和监控。

这种方法可以在 K8S 集群中高效地管理和共享大文件，减轻网络负担并加快文件分发速度。

补充说明：

1. NFS挂载的工作原理

NFS（Network File System）是通过网络共享的文件系统。挂载NFS目录时，本地机器并不会复制NFS服务器上的文件到本地磁盘，而是通过网络直接访问NFS服务器上的数据。因此，挂载操作本身不依赖于本地的磁盘空间大小。

因此，即使NFS共享目录中的文件总量大于本地存储容量，也不会影响挂载操作的成功与否，因为NFS的存储和管理是在NFS服务器上进行的，而不是在客户端机器上。

2. 本地存储的用途

本地存储的空间是用于Pod中其他非NFS挂载路径的操作。如果Pod本身的应用程序在其他路径上需要大量的本地存储，那么可能会遇到空间不足的问题，但这与NFS挂载无关。

NFS目录中的文件只会在访问时通过网络传输到本地机器，因此并不占用本地存储空间。

3. 性能影响

虽然挂载NFS目录不占用本地存储空间，但由于文件是通过网络传输的，如果NFS服务器上的数据量很大，访问速度和网络带宽可能会成为瓶颈。因此，确保网络连接稳定和带宽充足对于高效使用NFS非常重要。

要限制NFS共享目录的文件，使得挂载的服务器或者Pod只能下载文件到本地，而不能直接修改挂载的共享目录下的文件，可以使用以下方法来配置NFS的访问权限：

4. 在NFS服务器端配置只读访问
   设置NFS导出目录为只读**：在NFS服务器的配置文件 `/etc/exports` 中，将共享目录设置为只读访问权限。

   步骤如下：

   1. 打开NFS服务器上的 `/etc/exports` 文件：

sudo nano /etc/exports

   2. 找到或添加NFS共享目录的配置行，并将其设置为只读。示例如下：

 /path/to/nfs/share 192.168.1.0/24(ro,sync,no_subtree_check)

      - `/path/to/nfs/share` 是您要共享的目录路径。
      - `192.168.1.0/24` 是允许访问该共享目录的客户端网络范围（根据实际情况替换）。
      - `ro` 选项表示该目录为只读。

   3. 保存并退出文件编辑器。

   4. 重新导出NFS目录：

sudo exportfs -ra

   5. 确保客户端挂载时只读
       在客户端挂载NFS时，确保使用 `ro` 选项以只读模式挂载。

  步骤如下：

   <1. 在客户端服务器上创建挂载点目录：

sudo mkdir -p /mnt/nfs_share

   <2. 以只读模式挂载NFS共享目录：

sudo mount -o ro 192.168.1.100:/path/to/nfs/share /mnt/nfs_share

      - `192.168.1.100` 是NFS服务器的IP地址。
      - `/path/to/nfs/share` 是NFS服务器上的共享目录路径。
      - `/mnt/nfs_share` 是客户端上的挂载点。

   <3. 确保挂载的NFS目录是只读的：

mount | grep nfs

 6. **配置文件系统权限**
   - 还可以在NFS服务器上通过文件系统权限进一步控制访问。如果某些子目录或文件需要额外的保护，可以将其权限设置为只读：

sudo chmod -R 755 /path/to/nfs/share

   - 其中，`755` 权限表示目录和文件的所有者可以读写执行，组和其他用户只能读和执行。

7. Pod安全上下文
   - 如果使用Kubernetes中的Pod挂载NFS卷，还可以在Pod的 `securityContext` 中指定只读访问：

volumes:
  - name: nfs-volume
    nfs:
      server: 192.168.1.100
      path: /path/to/nfs/share
volumeMounts:
  - name: nfs-volume
    mountPath: /mnt/nfs
    readOnly: true

通过在NFS服务器端配置只读访问权限，并在客户端或Pod上以只读模式挂载NFS共享目录，可以确保挂载的服务器或Pod只能下载文件到本地，而无法直接修改共享目录下的文件。这种设置有助于保护共享文件免受意外修改或删除。