启动大模型训练常见的docker参数

nvidia-docker run --rm -d -it --ipc=host -p ${SSH_PORT}:${SSH_PORT} -p ${DEEPSPEED_PORT}:${DEEPSPEED_PORT} --net=host  --device=/dev/infiniband/ --gpus=all  --ulimit memlock=-1:-1 --security-opt seccomp=unconfined --name $CONTAINER_NAME -v /cpfs:/cpfs -v /etc/hosts:/etc/hosts $IMAGE_NAME

--ipc=host:可理解为docker容器复用host主机的内存空间,即进程间IPC通信可在容器和主机进程之间进行。

--net=host: 复用主机的网络栈(IP、端口等),容器不再创建自己的网络栈;(不加这个选项的话,默认为每个容器创建一个自己的虚拟IP)。

--device=/dev/infiniband/:允许容器访问/dev/infiniband/这个外部设备。

--gpus=all:容器可以用到所有的GPU。

--ulimit memlock=-1:-1:允许容器内的进程,lock住任意大小的memory;

--security-opt seccomp=unconfined:容器默认会处在Secure computing mode下,即出于安全考虑,容器有几十个系统调用被禁用。设置该选项,可以使该安全策略失效,即不再禁用。

-v /etc/hosts:/etc/hosts:允许容器访问这个文件,该文件记录了很多IP和主机名的映射。用主机名访问其他机器的时候,系统会优先查这个文件,有的话就得到了相应的IP。(集群里如果没有配置域名服务器,那这个文件的作用就更大了)

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值