使用llava模型时调整其输出的最大长度(max-tokens)
当我们使用llava项目的时候(官网github-llava项目网址),我们一般直接运行的里面的CLI Inference这个命令:
python -m llava.serve.cli \
--model-path liuhaotian/llava-v1.5-7b \
--image-file "https://llava-vl.github.io/static/images/view.jpg" \
--load-4bit
但是笔者在实验的时候,很多时候输出很短,它就暂停了,然后笔者查看了一下项目中该文件的代码:
LLaVA/llava/serve/cli.py
发现其内部代码结果如下所示:
所以我们只要调整一下max-new-tokens
这个参数,其默认长度是512
,在代码里新加一个max-new-tokens
相关参数即可。
使用cli命令调整max-new-tokens数值
python -m llava.serve.cli \
--model-path liuhaotian/llava-v1.5-7b \
--image-file "https://llava-vl.github.io/static/images/view.jpg" \
--load-4bit
--max-new-tokens 2000