对于llm接触也半个月有余,这里对其使用进行一次完整的整理总结,基于本地部署,脱离千篇一律的openai key的方式,完成基本问答->基于rag模型微调->加入上下文信息->构建智能agent不断迭代升级的模型版本,在此基础上还可以进行适配性调整,完成对基于langchain对llm模型的应用开发:
(1)基于qwen2来构建一个简单问答系统
基于刚开放的qwen2模型对中文支持力度,结合langchain构建了一个简单的问答系统,其中技术栈用到:langchain+fastapi+vllm
》base
from vllm import LLM, SamplingParams
import os
from fastapi import BackgroundTasks, FastAPI, Request
from fastapi.responses import JSONResponse, Response, StreamingResponse
from fastapi import FastAPI
import uvicorn
#使用modelscope,如果不设置该环境变量,将会从huggingface下载
os.environ['VLLM_USE_MODELSCOPE']='True'
app = FastAPI()
#llm = LLM(model="Qwen/Qwen-7B-Chat-Int4", trust_remote_code=True)
#llm = LLM(model="Qwen/Qwen2-0.5B", trust_remote_code=True)
# llm = LLM(model="Qwen/Qwen2-1.5B-Instruct", trust_remote_co