qq_35422867的博客

原创 Function Call & ReACT，Xinference 兼容OpenAI API，支持LLM原生function call

使用prompt来使模型生成tool所需要的参数，返回的json参数格式可以自己定义，然后在Action中解析模型生成的tool中的参数，传入tool中执行，拿到最后的Observation结果。但是chatglm3和qwen是明确支持function call功能的，找了一堆支持OpenAI API的部署方法，发现Xinference功能很强，还集成了vLLM。没有绑定到llm中，是传入到了prompt中，作为prompt中的一部分提示模型生成tool相关的参数。使用的是ReACT方法，即。