基础任务
internstudio创建开发机(使用cuda12.1)
创建完成进入开发机,进入终端,键入命令创建环境(巨慢,预计1h)
studio-conda -t lmdeploy -o pytorch-2.1.2
建议手动创建
conda create -n lmdeploy -y python=3.10
conda activate lmdeploy
pip install lmdeploy[all]==0.3.0
实战营已经在开发机的共享目录中准备好了常用的预训练模型,可以运行如下命令查看:
ls /root/share/new_models/Shanghai_AI_Laboratory/
以InternLM2-Chat-1.8B模型为例,从官方仓库下载模型。因为我部署是在开发机上面,所以下面以InternStudio开发机上下载模型为例,如果是部署在本地的话,建议由OpenXLab平台下载模型。具体参考这个链接。
https://github.com/InternLM/Tutorial/tree/camp2/lmdeploy
首先进入一个你想要存放模型的目录,本教程统一放置在Home目录。执行如下指令:
cd ~
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b /root/
# cp -r /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b /root/
执行完如上指令后,可以运行“ls”命令。可以看到,当前目录下已经多了一个internlm2-chat-1_8b
文件夹,即下载好的预训练模型。使用LMDeploy与模型进行对话的通用命令格式为:
lmdeploy chat [HF格式模型路径/TurboMind格式模型路径]
执行如下命令运行下载的1.8B模型
lmdeploy chat /root/internlm2-chat-1_8b
在一片茂密的森林里,住着一群聪明而勤劳的小动物。这些小动物们有着各种各样的特点和爱好,但是它们都有一个共同的特点:它们都非常喜欢探险和冒险。
这一天,森林里的动物们决定一起去探索一个神秘的洞穴。他们准备好了必要的装备和指南针,开始了一段充满挑战和惊喜的探险之旅。
当他们穿过一片茂密的森林,越过高高的山峰,穿越了深深的河流时,他们终于来到了一个神秘而令人惊叹的洞穴。这个洞穴被漆成了一片神秘的颜色,充满了神秘的光芒,让所有走进这里的动物都很着迷。
在洞穴里,动物们发现了一个古老的宝藏。这个宝藏被锁在一个巨大的锁链里,只有掌握着钥匙的人才能够打开它。但是,这个锁链非常坚固,动物们陷入了困境。
就在这时,一只勇敢的狐狸走过来,它有着锐利的牙齿和敏锐的耳朵,它向动物们展示了它的钥匙所在之处。动物们非常感激,他们和狐狸合作,最终成功地打开了这个锁链。
当他们打开宝藏时,它们发现里面装满了珍贵的财宝和珍贵的手工艺品。这些财富让动物们过上了更加富裕和舒适的生活,它们变得更加自信和勇敢。
这个探险之旅让动物们更加团结和友好了。他们明白,只有通过互相支持和合作,才能够克服任何困难和挑战。从此以后,动物们变得更加聪明和勇敢,他们将继续探险和冒险,为彼此和整个森林的幸福做出贡献。
输入“exit”并按两下回车,可以退出对话。
个人体验:非常丝滑~
进阶任务
未完待续~