CogVLM视觉大模型本地部署跑起来

设备：显存24G​​​​​​​ 项目链接xCogVLM/README_zh.md at main · THUDM/CogVLM · GitHub

下载完项目，需要手动下载模型，在线下载很慢

模型下载链接：https://huggingface.co/THUDM

进入网址搜一下，具体的模型名，绿箭头那块搜索模型名就出来，或者直接下拉到最下边找一找

找到之后，下载只能一个个的点击下载，全点完之后下载完确认文件数一样，还有个

gitattributes这个文件是个隐藏文件，下载下来的文件前面那个 .  是没有的，重命名加上

CogVLM-main/composite_demo/client.py下的四个模型文件（我只下载了前俩个，根据需要下载）搜索复制粘贴过去，最好是一样的，具体的根据情况选择

lmsys/vicuna-7b-v1.5

THUDM/cogagent-chat-hf

THUDM/cogvlm-chat-hf

THUDM/cogvlm-grounding-generalist-hf

然后新建一个python=3.10的环境，低于3.10的环境，代码跑不起来，这个最低要求python环境3.10，在之后安装库

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple      

这是带着清华镜像源比较快，当然也可自己更换镜像源
安装完库，会报错huggingface_hub没有这个库，你需要安装，别安装最新的，安装最新会报错
（_text_generation.py和其他component不兼容 当前版本被disable了 <0.22.0就行）

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple huggingface_hub==0.19.4

我安装的是0.19.4，当然你可以根据情况来安装<0.22.0就行

我在ubuntu运行的时候，python main会报错

在网上查资料：     streamlit run main.py [ARGUMENTS]         输入此命令就可以了

果然可以了，输出这个的时候会跳转网页

这基本就是一个大概的流程

刚开始我没注释模型后三个，THUDM/cogagent-chat-hf | THUDM/cogvlm-chat-hf | THUDM/cogvlm-grounding-generalist-hf，显示报错cuda内存不够，后来我想着一个个的运行会好点，第一个模型运行就出来网页了