无卡训练大模型LLM
随着大模型LLM和图像生成模型的爆火,越来越多的人开始了解大模型,学习大模型。
但是这里有一个硬伤,那就是,要卡。没有个3090,4090,A100还想玩大模型?我觉得这是很多像我等穷狗的窘境。
没卡也能训练大模型
最近发现了个好东西,自己也试了试,确实好用,不但可以推理,甚至可以训练LLM!
不是什么colab,虽然那也是免费的,但是我常识用了好多次,感觉不太好用。
强推:驱动云 link
为什么力推驱动云:总结几个优点
- 不用自己配环境了。有非常多现成的环境供选择。直接用就行了
- 不用自己准备模型权重,有很多开源的大模型权重在平台上,用哪个选哪个就行了。不然光下载个几十G的权重都得好长时间。
- 不用自己准备训练数据了,训练数据也是可以直接拉去平台上现成的。
- 融合了jupyter,非常方便调试。
- 提供48G内存, 80GB显存,1TB持久存储空间,我就问问,配个这样的实体机,得多少钱!
资源配置如图:
- 关键是,新用户注册有168块钱。1块钱一个算力点,省着点用够用很久了!!!,通过邀请链接注册,平台会赠送新用户额外的100算力点link
我调试的时候,就用最便宜的,5毛钱一个小时!试着训训qwen1.5-0.5b,爽歪歪。
快去试!link
看个例子 部署个llama2-7b
- 创建项目
项目名称随便写
- 这里的镜像就是知道python环境,来直接选
在搜索框中输入关键字,找一个你想要的环境,官方的、公开的,很多可供选择,版本不对你就换一个。比如想要个带vllm的环境:
在这里我们选用官方的 pytorch 2.0.0就行。
不用自己配环境,爽吧。
3. 数据不用选,
因为这里不是训练模型,是部署模型进行推理。要训练的时候可以选,一个项目可以挂载3个数据,不是3个文件,是3个文件夹!!!!
这里不用选哈,就是看看,几百G的数据集要是下载的话要下载多久!!!关键还得去找去整理。
4. 模型
直接选择现成的模型权重llama-2-7b-chat
不用下载几十G的模型权重了也挺爽的。也可以自己下载想试的模型拿来玩。
5. 选好之后点击创建进入项目
6. 添加运行代码:
在代码文件中点击 编辑,
然后点击 上传文件
下载代码文件并上传
https://virtaitech.blob.core.chinacloudapi.cn/practices/llama2.zip
然后解压缩
7. 然后结束编辑,并在同一个位置点击运行代码
然后选择资源的时候,直接选个p1.large,80G显存,爽!
可以先设置一下最大运行时间,然后点击 进入开发环境
- 在网页终端中运行demo
torchrun --nproc_per_node 1 llama2/example_text_completion.py --ckpt_dir /gemini/pretrain/llama-2-7b/ --tokenizer_path /gemini/pretrain/tokenizer.model
或者在jupyterlab中编写运行代码。
官方提供了好多运行案例:快试试
去注册:link