determined机器学习平台
背景
为了方便批量提交GPU任务,防止资源冲突导致任务异常中断,搭建了determined机器学习平台,选择这一框架的原因是一方面它提供GPU资源管理和深度学习任务的调度功能,另一方面它实现了超参搜索功能方便调参。
目前,determined主要解决了个人两个痛点:
-
GPU资源管理问题,多用户和多任务时容易抢占GPU资源导致CUDA OOM。
-
批量GPU任务调度,大量项目视频数据需要分别训练NeRF/3DGS模型,超出了GPU数量,在命令行里手动管理任务非常低效。
环境
pip install determined
det deploy local cluster-up
添加节点
如果有多台机器,需要将其加入到determined集群。已经运行det deploy local cluster-up作为master节点,其他机器作为agent节点,mater和agent。
先运行命令:
docker pull determinedai/determined-agent
pip install determined
在本地创建配置文件agent-config.yaml,写入mater节点determined服务的ip和port。
master_host: 192.168.0.12
master_port: 8080
然后启动服务
# 在子节点中运行
docker run --gpus all -v /var/run/docker.sock:/var/run/docker.sock -v "$PWD"/agent-config.yaml:/etc/determined/agent.yaml determinedai/determined-agent
docker镜像
determined使用docker运行任务,所用docker镜像中必须安装determined,否则任务会卡住。
可以用determined提供的镜像作为基础镜像。
https://hub.docker.com/r/determinedai/environments/tags?page=1&name=gpu
建议以determined或者pytorch的镜像作为基础镜像。
账户
账号为名字拼音,默认密码为空。
管理员用户名为admin,建议搭建好环境后,立刻修改其密码。
修改密码:
det user login # 登录,后续命令将以此用户为默认用户
det -u {username} user change-password # 修改密码
模板
提前构建好docker镜像
参考配置模板创建config文件:配置
name: test_pytorch_determined # 实验名称
workspace: Test
project: init
resources:
slots_per_trial: 1 # 显卡数量
entrypoint: python3 test.py # 任务命令
# 挂载
bind_mounts:
- host_path: /data/lambda
container_path: /mnt/lambda
# Use the single-searcher to run just one instance of the training script
searcher:
name: single
# metric is required but it shouldn't hurt to ignore it at this point.
metric: none
# max_length is ignored if the training script ignores it.
max_length: 1
max_restarts: 3 # 任务运行失败会重跑
environment:
image: determinedai/environments:cuda-11.3-pytorch-1.12-tf-2.11-gpu-622d512 # 镜像
environment_variables: # container环境变量
- USERNAME=lambda
cd {workspace}
det experiment create config.yaml ./ # 会上传当前目录到master节点
省事起见,也可以将个人home挂载,然后从container_path里的代码启动任务
任务管理
不足
-
非determined任务无法监测,所以如果存在从命令行运行的训练任务,还是会发生资源抢占的现象。需要大家都迁移到determined平台运行GPU任务才能发挥最大作用。
-
权限管理可能不够完善。