以视觉为中心的多模态大型语言模型 Cambrian-1 在线运行教程

Cambrian-1 是由谢赛宁和 Yann LeCun 团队研发的一系列以视觉为中心的多模态大型语言模型（MLLMs），旨在通过大型语言模型和视觉指令调整来评估不同的视觉表示，提供对模型和架构的新见解。

使用云平台：OpenBayes

openbayes.com/console/signup?r=sony_0m6v

登录到 OpenBayes 平台后，打开「公共教程」，找到「在线运行寒武纪1号Cambrian-1 Demo」的教程。

进入到教程界面后，点击右上角「克隆」。

平台在克隆过程中以自动为我们配置好了模型文件，点击「下一步：选择算力」。

模型较大，需要使用 A6000 运行，选择 A6000 算力和 PyTorch 镜像后，点击「下一步：审核」。

确认模型信息无误后，点击「继续执行」。

稍等片刻，待系统分配好资源，状态栏显示为「运行中」后，打开工作空间

打开终端，输入 bash setup.sh。

系统输出 Environment variable added to .bashrc 后，输入指令 source ~/.bashrc

完成初始化后，在终端中输入命令 bash control.sh，运行代码后，模型将会启动一个控制器。

稍等 15s 左右，打开一个新的终端，输入命令 bash gradio.sh，模型将会输出一个 Running on public URL 的链接，我们点击进入。

返回工作空间，再打开一个新的终端，输入命令 bash model.sh ，当系统输出 Uvicorn running on 一个链接时表示模型已配置完成，然后我们返回到之前的模型 Demo 界面，点击刷新，可以看到可以选择模型了。

我们选择示例来测试模型，上传一张炸鸡的照片，并询问 what does this image remind you of（这张图片让你想起了什么），可以看到模型的回答了The image of fried chicken pieces arranged to resemble a map of Africa is a creative and humorous take on food presentation. It's a playful way to engage viewers and make the meal more memorable.（炸鸡块排列成非洲地图的形象是对食物展示的创造性和幽默的呈现。这是一种有趣的方式来吸引观众，让这顿饭更难忘。） 是非常准确的。

换一道数学题，可以看到模型输入了答案A，也是十分正确的。