minio批量造数据

最近参与某项目验收,客户对这个项目比较重视,项目验收卡的比交严。由于某个模块特别标注了2T的数据指标项,方便考虑,决定造百来条数据,每条数据再绑定大约十来个g的资源,2T数据轻轻松松。

项目运行在三方云平台之上,资源存储使用的minio,主要实现步骤如下:

## 通过命令查看容器信息,得知minio容器内部的/data与宿主机的/nas/data为目录挂载关系(命令执行结果就不在这里展示了)
[root@master-1 ~]# kubectl describe pod xxx-minio-6c54676b6d-vshvw
## 找到宿主机/nas/data目录,为了方便再创建一层文件夹,授权此文件夹并进入(授权的目的是避免minio mc命令对/nas/data/tools操作权限不足问题)
[root@master-1 tools]# mkdir -p /nas/data/tools;chmod -R 777 /nas/data/tools;cd /nas/data/tools
## xftp上传测试文件(dongxiexidu.mp4)
[root@master-1 tools]# ls
dongxiexidu.mp4
## 编写cpfile2minio.sh脚本,大概原理为利用minio的mc命令实现批量复制测试文件(dongxiexidu.mp4),并上传至minio,具体内容如下
#!/bin/bash

mc alias set myminio http://localhost:9000 minio minio123456
for i in {1..3}
do
	echo "运行至第$i行"
	mc cp /data/tools/dongxiexidu.mp4 /data/tools/dongxiexidu_$i.mp4
	mc cp /data/tools/dongxiexidu_$i.mp4 myminio/kms-knowledge-service
	mc rm /data/tools/dongxiexidu_$i.mp4
done
## 授权cpfile2minio.sh脚本可执行权限
[root@master-1 tools]# chmod -R 777 /nas/data/tools/cpfile2minio.sh
## 进入容器,执行cpfile2minio.sh脚本
[root@master-1 tools]# kubectl exec -it xxx-minio-6c54676b6d-vshvw -n platform bash

kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl kubectl exec [POD] -- [COMMAND] instead.
Defaulting container name to xxx-minio.
Use 'kubectl describe pod/xxx-minio-6c54676b6d-vshvw -n platform' to see all of the containers in this pod.
I have no name!@xxx-minio-6c54676b6d-vshvw:/opt/bitnami/minio-client$ /data/tools/cpfile2minio.sh 
Added `myminio` successfully.
运行至第1行
/data/tools/dongxiexidu_1.mp4:              759.90 KiB / 759.90 KiB ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 3.89 MiB/s 0sRemoved `/data/tools/dongxiexidu_1.mp4`.
运行至第2行
/data/tools/dongxiexidu_2.mp4:              759.90 KiB / 759.90 KiB ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 3.52 MiB/s 0sRemoved `/data/tools/dongxiexidu_2.mp4`.
运行至第3行
/data/tools/dongxiexidu_3.mp4:              759.90 KiB / 759.90 KiB ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 3.37 MiB/s 0sRemoved `/data/tools/dongxiexidu_3.mp4`.
I have no name!@xxx-minio-6c54676b6d-vshvw:/opt/bitnami/minio-client$
## 登录minio界面,去对应桶名(kms-knowledge-service)下查看附件信息
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值