DVC+Minio

由于参数文件比较大，因此onnx、engine等大文件弃用LFS管理，改用dvc管理：

1. minio就是存储用的

   • 启动minio

     sudo netstat -ntpl#查看端口号
     sudo kill -9 $(sudo lsof -i:5061 -t) 关闭端口对应进程
     ./minio server --console-address ":6570" --address ":6571" /home/lxxx/dataset/minio #启动
     

   • 登录

     http://127.0.0.1:6570/login
     默认账户名
        RootUser: minioadmin 
        RootPass: minioadmin
     

   • 创建创建buket

2. DVC

   • 安装

     pip install  dvc
     pip install  dvc_s3
     

   • 初始化

     dvc init #会创建一个.dvc的文件
     

   • 创建一个git提交

     git commit -m "Initialize DVC"
     

   • dvc追踪

     dvc add onnx
     git add .gitignore #.gitignore 中直接设置 onnx
     dvc config core.autostage true #大意就是直接存储
     
     
     # 有提示则还需要删除一些git的追踪
     git rm -r --cached 'onnx\xxx.onnx'
     git commit -m "stop tracking onnx\xxx.onnx"
     

   • 追加dvc远端信息；实际上就是.dvc/config中

     dvc remote add -d minio s3://model/onnx -f
     dvc remote modify minio endpointurl http://xxxx:6571
     dvc remote modify minio access_key_id xxxx
     dvc remote modify minio secret_access_key xxxx
     dvc push
     

   • dvc拉取

     dvc pull
     

   • dvc推送总是卡，所以改变了线程数

     dvc remote modify --local minio  jobs 4
     

ERROR: Checkout failed for following targets
https://discuss.dvc.org/t/cant-go-to-former-version-of-dataset-with-dvc-checkout/615

dvc checkout -v