部署Video-LLama遇到的坑

环境：linux，conda，python 3.10

下载：下载时首先在中国直接拉去huggingface的git链接很大概率上实行不同的因为被ban了，如果想下载只能找镜像网站。镜像网站比如modelscope就非常好用，魔搭社区网速非常快！我这边使用的是modelscope镜像网站下载的video-llama模型文件和checkpoint。

from modelscope import snapshot_download, AutoModelForCausalLM, AutoTokenizer,GenerationConfig
model_dir = snapshot_download("damo/videollama_7b_llama2_finetuned", revision='v0.1.1')

但是这里有一个坑，下载的文件部分是损坏的，我调试了一整天才发现这个问题实在是太坑了！而且有一些git链接是个假链接，就是你直接git clone不能够下载到你想要的文件，他会给个假文件给你，这里奉劝大家下载模型的时候一定要对比仔细！！

版本问题：video-llama由于快速迭代有一些依赖包的一些方法被弃用了，这导致你直接pip install -r requirements.txt所下载的东西无法使用！主要原因就是因为requirements.txt没有指定相应的版本号，这里给达摩院出的这个video-llama文档和代码都给差评！我因为这个问题估计耗了5个小时后面反复降级才能够用。

下面是我自己标注了版本号的requirements.txt文件，你们直接复制过去拿着用就可以了！官方给的文档很多都没给后面带版本！不带版本的话默认就是下载最新的，但是最新的版本很多方法都弃用了！绝对天坑！

tqdm
decord
timm
einops
opencv_python==4.8.0.74
torchvision==0.14.0
torch==1.13.0
bitsandbytes
omegaconf
iopath
webdataset
ftfy
SentencePiece
transformers==4.28.0
gradio==3.24.1
pytorchvideo
gradio-client==0.0.8
torchaudio

另外加一句python版本不要用3.11，直接使用3.9或者3.10不要用最新不要用最新不要用最新！

模型下载路径：这是最大的天坑，默认下载在root的cache下/root/.cache/modelscope/modelscope_modules。这个是Linux的路径其他操作系统我不知道，但是你最好直接下载好之后不要动了！因为模型里面有很多方法调用文件的时候是写的绝对路径，是的你没听错！就是写的绝对路径！你只要移动一点点，他就不能用了。。。所以你使用snapshot_download下载好之后不要随便动他的路径了！



上述坑基本上每个人至少都会碰到一个，同组的很多人都有类似的问题，为了节省大家宝贵的时间希望这些解决办法对你们有用。