naozibuok的博客

使用 Pydantic 定义一个数据模型 QuestionRequest，用来描述客户端请求的 JSON 数据格式。模型中只有一个字段 question，类型为字符串。当客户端发送请求时，FastAPI 会自动将请求体解析为这个数据模型，并验证其中的数据是否满足定义的格式和类型要求。如果数据格式不符合，会自动返回错误响应。model="ollama/model_name", # 指定要使用的 AI 模型名称（需替换为实际模型名）messages=[

在 llama.cpp 下创建 llama-quantize 文件夹并将 Release 粘贴进 llama-quantize 文件夹。或者 下载.zip解压。注意llama.cpp需要与训练代码同目录。进入 train.py 所在路径 python train.py。①打开 PowerShell 或命令提示符。②进入训练后生成的 model 目录。⑤生成的可执行文件应位于。③部署模型到ollama。③创建构建目录并配置。