一、前言
通过langchain框架调用本地模型,使得用户可以直接提出问题或发送指令,而无需担心具体的步骤或流程。vLLM可以部署为类似于OpenAI API协议的服务器,允许用户使用OpenAI API进行模型推理。
相关文章:
开源模型应用落地-LangChain试炼-CPU调用QWen1.5(一)
开源模型应用落地-LangChain高阶-GPU调用QWen1.5(二)
开源模型应用落地-LangChain高阶-集成vllm-QWen1.5(一)
通过langchain框架调用本地模型,使得用户可以直接提出问题或发送指令,而无需担心具体的步骤或流程。vLLM可以部署为类似于OpenAI API协议的服务器,允许用户使用OpenAI API进行模型推理。
相关文章:
开源模型应用落地-LangChain试炼-CPU调用QWen1.5(一)
开源模型应用落地-LangChain高阶-GPU调用QWen1.5(二)
开源模型应用落地-LangChain高阶-集成vllm-QWen1.5(一)