L1-8G 显存玩转书生大模型 Demo

基础任务

internstudio创建开发机（使用cuda12.1）

创建完成进入开发机，进入终端，键入命令创建环境(巨慢，预计1h)

studio-conda -t lmdeploy -o pytorch-2.1.2

建议手动创建

conda create -n lmdeploy -y python=3.10
conda activate lmdeploy
pip install lmdeploy[all]==0.3.0

实战营已经在开发机的共享目录中准备好了常用的预训练模型，可以运行如下命令查看：

ls /root/share/new_models/Shanghai_AI_Laboratory/

以InternLM2-Chat-1.8B模型为例，从官方仓库下载模型。因为我部署是在开发机上面，所以下面以InternStudio开发机上下载模型为例，如果是部署在本地的话，建议由OpenXLab平台下载模型。具体参考这个链接。

https://github.com/InternLM/Tutorial/tree/camp2/lmdeploy

首先进入一个你想要存放模型的目录，本教程统一放置在Home目录。执行如下指令：

cd ~
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b /root/
# cp -r /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b /root/

执行完如上指令后，可以运行“ls”命令。可以看到，当前目录下已经多了一个internlm2-chat-1_8b文件夹，即下载好的预训练模型。使用LMDeploy与模型进行对话的通用命令格式为：

lmdeploy chat [HF格式模型路径/TurboMind格式模型路径]

执行如下命令运行下载的1.8B模型

lmdeploy chat /root/internlm2-chat-1_8b

在一片茂密的森林里，住着一群聪明而勤劳的小动物。这些小动物们有着各种各样的特点和爱好，但是它们都有一个共同的特点：它们都非常喜欢探险和冒险。
这一天，森林里的动物们决定一起去探索一个神秘的洞穴。他们准备好了必要的装备和指南针，开始了一段充满挑战和惊喜的探险之旅。
当他们穿过一片茂密的森林，越过高高的山峰，穿越了深深的河流时，他们终于来到了一个神秘而令人惊叹的洞穴。这个洞穴被漆成了一片神秘的颜色，充满了神秘的光芒，让所有走进这里的动物都很着迷。
在洞穴里，动物们发现了一个古老的宝藏。这个宝藏被锁在一个巨大的锁链里，只有掌握着钥匙的人才能够打开它。但是，这个锁链非常坚固，动物们陷入了困境。
就在这时，一只勇敢的狐狸走过来，它有着锐利的牙齿和敏锐的耳朵，它向动物们展示了它的钥匙所在之处。动物们非常感激，他们和狐狸合作，最终成功地打开了这个锁链。
当他们打开宝藏时，它们发现里面装满了珍贵的财宝和珍贵的手工艺品。这些财富让动物们过上了更加富裕和舒适的生活，它们变得更加自信和勇敢。
这个探险之旅让动物们更加团结和友好了。他们明白，只有通过互相支持和合作，才能够克服任何困难和挑战。从此以后，动物们变得更加聪明和勇敢，他们将继续探险和冒险，为彼此和整个森林的幸福做出贡献。

输入“exit”并按两下回车，可以退出对话。

个人体验：非常丝滑~

进阶任务

未完待续~