记录一次完整的大模型实操

        对于llm接触也半个月有余，这里对其使用进行一次完整的整理总结，基于本地部署，脱离千篇一律的openai key的方式，完成基本问答->基于rag模型微调->加入上下文信息->构建智能agent不断迭代升级的模型版本，在此基础上还可以进行适配性调整，完成对基于langchain对llm模型的应用开发：

（1）基于qwen2来构建一个简单问答系统

基于刚开放的qwen2模型对中文支持力度，结合langchain构建了一个简单的问答系统，其中技术栈用到：langchain+fastapi+vllm

》base

from vllm import LLM, SamplingParams
import os
from fastapi import BackgroundTasks, FastAPI, Request
from fastapi.responses import JSONResponse, Response, StreamingResponse
from fastapi import FastAPI
import uvicorn
#使用modelscope,如果不设置该环境变量，将会从huggingface下载
os.environ['VLLM_USE_MODELSCOPE']='True'

app = FastAPI()

#llm = LLM(model="Qwen/Qwen-7B-Chat-Int4", trust_remote_code=True)
#llm = LLM(model="Qwen/Qwen2-0.5B", trust_remote_code=True)
# llm = LLM(model="Qwen/Qwen2-1.5B-Instruct", trust_remote_co