最近参与某项目验收,客户对这个项目比较重视,项目验收卡的比交严。由于某个模块特别标注了2T的数据指标项,方便考虑,决定造百来条数据,每条数据再绑定大约十来个g的资源,2T数据轻轻松松。
项目运行在三方云平台之上,资源存储使用的minio,主要实现步骤如下:
## 通过命令查看容器信息,得知minio容器内部的/data与宿主机的/nas/data为目录挂载关系(命令执行结果就不在这里展示了)
[root@master-1 ~]# kubectl describe pod xxx-minio-6c54676b6d-vshvw
## 找到宿主机/nas/data目录,为了方便再创建一层文件夹,授权此文件夹并进入(授权的目的是避免minio mc命令对/nas/data/tools操作权限不足问题)
[root@master-1 tools]# mkdir -p /nas/data/tools;chmod -R 777 /nas/data/tools;cd /nas/data/tools
## xftp上传测试文件(dongxiexidu.mp4)
[root@master-1 tools]# ls
dongxiexidu.mp4
## 编写cpfile2minio.sh脚本,大概原理为利用minio的mc命令实现批量复制测试文件(dongxiexidu.mp4),并上传至minio,具体内容如下
#!/bin/bash
mc alias set myminio http://localhost:9000 minio minio123456
for i in {1..3}
do
echo "运行至第$i行"
mc cp /data/tools/dongxiexidu.mp4 /data/tools/dongxiexidu_$i.mp4
mc cp /data/tools/dongxiexidu_$i.mp4 myminio/kms-knowledge-service
mc rm /data/tools/dongxiexidu_$i.mp4
done
## 授权cpfile2minio.sh脚本可执行权限
[root@master-1 tools]# chmod -R 777 /nas/data/tools/cpfile2minio.sh
## 进入容器,执行cpfile2minio.sh脚本
[root@master-1 tools]# kubectl exec -it xxx-minio-6c54676b6d-vshvw -n platform bash
kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl kubectl exec [POD] -- [COMMAND] instead.
Defaulting container name to xxx-minio.
Use 'kubectl describe pod/xxx-minio-6c54676b6d-vshvw -n platform' to see all of the containers in this pod.
I have no name!@xxx-minio-6c54676b6d-vshvw:/opt/bitnami/minio-client$ /data/tools/cpfile2minio.sh
Added `myminio` successfully.
运行至第1行
/data/tools/dongxiexidu_1.mp4: 759.90 KiB / 759.90 KiB ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 3.89 MiB/s 0sRemoved `/data/tools/dongxiexidu_1.mp4`.
运行至第2行
/data/tools/dongxiexidu_2.mp4: 759.90 KiB / 759.90 KiB ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 3.52 MiB/s 0sRemoved `/data/tools/dongxiexidu_2.mp4`.
运行至第3行
/data/tools/dongxiexidu_3.mp4: 759.90 KiB / 759.90 KiB ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 3.37 MiB/s 0sRemoved `/data/tools/dongxiexidu_3.mp4`.
I have no name!@xxx-minio-6c54676b6d-vshvw:/opt/bitnami/minio-client$
## 登录minio界面,去对应桶名(kms-knowledge-service)下查看附件信息