【书生大模型实战营】基础岛-8G 显存玩转书生大模型 Demo

最新推荐文章于 2024-08-07 16:02:29 发布

lzl2040

最新推荐文章于 2024-08-07 16:02:29 发布

阅读量367

点赞数 3

分类专栏： LLM学习文章标签：人工智能 LLM 深度学习

本文链接：https://blog.csdn.net/qq_41234663/article/details/140855572

版权

7 篇文章 1 订阅

订阅专栏

首先通过VSCode连接开发机，shiyconda activate /root/share/pre_envs/icamp3_demo激活存在的环境：
在这里插入图片描述
创建```cli_demo.py``文件，并完成运行模型的代码：

然后运行python cli_demp.py，可以输入用户指令，模型会给出回答：
在这里插入图片描述
可以看出，它的自我认知能力还不太行。

首先克隆InternLM的Tutorial到本地，使用代码git clone https://github.com/InternLM/Tutorial.git克隆。
在这里插入图片描述
然后启动一个 Streamlit 服务，代码为：

streamlit run /root/Project/Tutorial/tools/streamlit_demo.py --server.address 127.0.0.1 --server.port 6006

在这里插入图片描述
之后VSCode会弹出一个网址，不需要我们自己在本地进行映射，如下：

然后跟大模型进行了交流，让它写一篇作文，最终得到的界面如下：
在这里插入图片描述

使用如下命令进行部署：

lmdeploy serve gradio /share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-1_8b --cache-max-entry-count 0.1

VSCode会自动对地址进行映射，最后在本地的界面为：

在这里插入图片描述

InternVL2-2B是最新一代的视觉-语言多模态大模型，是首个综合性能媲美国际闭源商业模型的开源多模态大模型。

使用如下命令进行部署：

lmdeploy serve gradio /share/new_models/OpenGVLab/InternVL2-2B --cache-max-entry-count 0.1

/share/new_models/OpenGVLab/InternVL2-2B目录下的文件为：
在这里插入图片描述

最终的界面如下：
在这里插入图片描述

关注

专栏目录