
windows本地部署llava-v1.5-7b
部署过程中主要是在启动阶段报错多,如果控制台出现404not found,看看加载模型有没有成功,一般就是加载模型那段命令报错多,然后可以看看端口号是否被占用,github上例子的端口号10000我就一直不行,然后我把端口号换成10001。第三步,载入模型,这里要修改路径,改成你的模型权重文件路径,如果命令行当前路径是代码文件,那么红框直接改成模型权重文件名就行。然后,执行启动gradio web server命令,这一步是能在网页中可视化交互,如果最后状态是200就说明启动成功,




