驱动云创建保存自己的环境

驱动云创建保存自己的环境

上一篇link介绍了如何在驱动云上部署llama2以及驱动云在训练大模型的方便之处。也说到了可以直接使用驱动云现有的环境,免得自己配置环境。

但是有的时候免不了自己想要安装一些包。

驱动云的环境是这样的,每次离开之后,他的环境就会变成你最初用的镜像,过程中你做的更改不会保留。但是下次用的时候或者想要提交离线任务的时候,就需要用你修改好的镜像。
怎么办呢?这里可以很容易的制作镜像,将自己需要的环境永久的保存下来。

制作镜像

  1. 比如对于一个项目,我已经选择好了镜像为官房的Pytorch 2.0.0
    在这里插入图片描述
    但是,在玩过程中,我需要vllm的包,但是咧,这个环境里面没有,并且恰好,在平台上找不到完美匹配需求的镜像,需要自己手动安装一些。
  2. 在当前调试过程中,很容易,直接在终端pip安装就可以了.
    比如更新accelerate到0.27.0
    在这里插入图片描述
    以及安装原来不存在的包trl
    在这里插入图片描述
    但是在调试完成之后,想要将当前的环境保存,该怎么办?
    我们可以点击下图中的保存当前环境来制作自己的镜像在这里插入图片描述
    然后点击构建为标准镜像
    在这里插入图片描述
    进入dockerfile配置页面

方法一

在这里插入图片描述

  • 镜像名称:随便写
  • 基础镜像:一般会有默认,就是最初启动该项目的时候配的镜像,也可以×掉自己重新选。
  • 在Dockerfile中,受限点个pip换源,会生成第一行。然后就是一行一行自己要添加的包,比如我们钱买你更新了accelerate,并安装了trl,就在这里对应写好。当然可以接着添加别的。

最后点击构建就可以了

方法二

在配置好环境之后,使用

!pip freeze > requirements.txt

输出当前环境的requirements.txt,文件会默认保存在/gemini/code下
在这里插入图片描述
可以将其下载下来
在这里插入图片描述
随后,同样点击保存当前环境,然后选择构建标准镜像
在这里插入图片描述
进入镜像制作页

在这里插入图片描述
同样填入镜像名称,默认的基础镜像
然后在上传文件处点击上传刚才保存的requirements.txt文件
接着点击pip换源
并添加如下代码

COPY requirements.txt /tmp/
RUN pip install -r /tmp/requirements.txt

最后点击构建即可
在这里插入图片描述

报错

如果镜像制作失败了,则可以点击 查看日志看看是什么原因
在这里插入图片描述
通常原因有两点:

  1. 使用方法一报错了。那大概率就是在调试过程中,配置环境的时候就出现了报错,比如包版本不兼容之类的。
    解决方法:记录下在调试过程中安装哪个版本的包不报错,以及安装包的顺序,或者有时候可能要先卸载掉某个包,最后一直到构建好自己的环境,并且没有出现报错,这时可以进行镜像制作。
  2. 使用方法二报错了,报错error: failed to solve: process “/bin/sh -c pip install -r /tmp/requirements.txt” did not complete successfully: exit code: 1。
    解决方法 使用方法一。因为我也不知道怎么解决hhhh, 如果哪位大神知道,请不吝赐教,谢谢。
    驱动云链接link,通过邀请链接注册,平台会送给新用户100算力点。
    在这里插入图片描述
  • 20
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值