windows本地部署llava-v1.5-7b

我使用的显卡4060ti 16g，部署后显存占满，可以看看自己显卡容量大小

先下载代码文件和模型权重文件，也可以直接去第三个链接用git下载代码文件
github代码文件:

https://github.com/haotian-liu/LLaVA/blob/main/docs/Windows.md

huggingface模型权重文件:

https://huggingface.co/liuhaotian/llava-v1.5-7b

推荐使用git clone拉取

可以直接在命令行进入代码文件那个路径然后输入图上面两行代码，完成之后模型文件就保存在代码文件中
如果git一直拉取失败，就把他文件一个一个下载下来，但是最后模型权重文件要放在代码文件中

环境安装:

https://github.com/haotian-liu/LLaVA/blob/main/docs/Windows.md

下载好上面两个文件之后，打开anaconda promot进入环境安装

如果下载好了代码文件，跳过第一步，进入第二步，创建并激活虚拟环境，安装需要用到的库和torch

在我们设置好环境之后，打开启动指令网页
启动指令:

https://github.com/haotian-liu/LLaVA#demo

从这部分开始看

此时我们anaconda promot命令行环境是llava，路径是代码文件路径

执行启动控制台命令，我这里端口号修改成10001

然后，执行启动gradio web server命令，这一步是能在网页中可视化交互，如果最后状态是200就说明启动成功，注意给的url

第三步，载入模型，这里要修改路径，改成你的模型权重文件路径，如果命令行当前路径是代码文件，那么红框直接改成模型权重文件名就行

这一步要等一点时间，成功之后应该是这样的

启动成功之后，打开网页进入标红框那个url，应该显示如下

点他的example看看能不能运行

可以看看控制台指令和加载模型的指令有没有报错


这样应该就算成功了
然后输入一些问题的时候在控制台看看显存情况，显存占满了

总结一下：
部署过程中主要是在启动阶段报错多，如果控制台出现404not found，看看加载模型有没有成功，一般就是加载模型那段命令报错多，然后可以看看端口号是否被占用，github上例子的端口号10000我就一直不行，然后我把端口号换成10001。
还有就是看看有没有关闭代理
没有测试微调，感觉显存肯定不够了，

文中或者我的表达哪有错误，尽情指出，虚心学习