第五节 LLaVA模型推理命令(包含lora训练权重推理方法)

---

前言

LLAVA模型训练方式有预训练、微调训练，而预训练需要大量算力与数据支持，我们将不在重点考虑。对于微调，也因其计算资源导致成本较高，一般不会采用全量微调方式，而是多采用PEFT方式完成，而PEFT代表的Lora微调模型性价比较高。介于此，Lora微调需要合并权重方可实现，在于我个人摸索下实现了LLAVA模型lora训练的推理。为此，我将LLAVA所有推理方式记录于此。
。

---

一、模型推理公用命令

我们推理调用模型是需要启动服务，这个命令是所有推理模型启动的前提条件，启动服务2个命令需要单独运行，这是一个公共服务命令，命令如下：

python -m llava.serve.controller --host 0.0.0.0 --port 10000

python -m llava.serve