第七节 LLaVA模型CLI推理源码解读(多轮对话推理方式与原理(prompt与assistant))

---

前言

为什么介绍cli.py方式进行推理呢？答案很简单，我想通过这个代码告知读者，模型是如何进行推理的，明确输入内容处理方式和模型输出内容，以及多轮对话输入与模型输出内容，而借助推理等方式是需要使用服务啥的客户端或服务端等，是比较麻烦的工程问题。因此，本文将介绍cli推理方式，露骨告知其推理原理与整个数据流程。同时，我也将使用列子与结果，实现三轮对话，说明模型如何工作或完成对话能力。然而，这部分内容和我之前数据章节有些关联，请大家自行查阅。

---

一、CLI推理实现

1、推理运行方法

cli.py实现推理，模型本身使用python结构调用，和往常模型调用类似，这里也可参考官网方法或我第一节也有说明，我不在介绍。至于模型权重我也在第一节有说明，自行查看。
官网推理：

python -m llava.serve.cli \
    --model-path liuhaotian/llava-v1