无卡训练大模型LLM 云服务器

随着大模型LLM和图像生成模型的爆火，越来越多的人开始了解大模型，学习大模型。
但是这里有一个硬伤，那就是，要卡。没有个3090，4090，A100还想玩大模型？我觉得这是很多像我等穷狗的窘境。

没卡也能训练大模型

最近发现了个好东西，自己也试了试，确实好用，不但可以推理，甚至可以训练LLM！
不是什么colab，虽然那也是免费的，但是我常识用了好多次，感觉不太好用。

强推：驱动云 link

为什么力推驱动云：总结几个优点

1. 不用自己配环境了。有非常多现成的环境供选择。直接用就行了
2. 不用自己准备模型权重，有很多开源的大模型权重在平台上，用哪个选哪个就行了。不然光下载个几十G的权重都得好长时间。
3. 不用自己准备训练数据了，训练数据也是可以直接拉去平台上现成的。
4. 融合了jupyter，非常方便调试。
5. 提供48G内存， 80GB显存，1TB持久存储空间，我就问问，配个这样的实体机，得多少钱！
   资源配置如图：
   
6. 关键是，新用户注册有168块钱。1块钱一个算力点，省着点用够用很久了！！！，通过邀请链接注册，平台会赠送新用户额外的100算力点link
   
   我调试的时候，就用最便宜的，5毛钱一个小时！试着训训qwen1.5-0.5b，爽歪歪。
   
   快去试！link

看个例子 部署个llama2-7b

1. 创建项目
   项目名称随便写
   
2. 这里的镜像就是知道python环境，来直接选

在搜索框中输入关键字，找一个你想要的环境，官方的、公开的，很多可供选择，版本不对你就换一个。比如想要个带vllm的环境：

在这里我们选用官方的 pytorch 2.0.0就行。

不用自己配环境，爽吧。
3. 数据不用选，
因为这里不是训练模型，是部署模型进行推理。要训练的时候可以选，一个项目可以挂载3个数据，不是3个文件，是3个文件夹！！！！

这里不用选哈，就是看看，几百G的数据集要是下载的话要下载多久！！！关键还得去找去整理。
4. 模型
直接选择现成的模型权重llama-2-7b-chat

不用下载几十G的模型权重了也挺爽的。也可以自己下载想试的模型拿来玩。
5. 选好之后点击创建进入项目
6. 添加运行代码：
在代码文件中点击 编辑，
然后点击 上传文件

下载代码文件并上传
https://virtaitech.blob.core.chinacloudapi.cn/practices/llama2.zip
然后解压缩

7. 然后结束编辑，并在同一个位置点击运行代码

然后选择资源的时候，直接选个p1.large，80G显存，爽！

可以先设置一下最大运行时间，然后点击 进入开发环境

8. 在网页终端中运行demo
   torchrun --nproc_per_node 1 llama2/example_text_completion.py --ckpt_dir /gemini/pretrain/llama-2-7b/ --tokenizer_path /gemini/pretrain/tokenizer.model

或者在jupyterlab中编写运行代码。

官方提供了好多运行案例：快试试

去注册：link