xuebodx0923的博客

在linux上搭建Langchain-Chatchat-v0.2.10 + chatglm3-6b + bge-large-zh。3.2.2 修改文件configs/model_config.py。上下载Langchain-Chatchat的v0.2.10版本。ip是搭建langchain-chatchat的服务器ip地址。4.3 往知识库中添加文档“统计学习方法李航.pdf”2.1 创建python3.10虚拟环境。3.2.1 首先运行以下命令。3.4 按照以下命令启动项目。对话模式选择知识库问答。

说明训练用的是torch.float16.，推理用的是torch.bfloat16. 我们可以修改Llama-3-8B-Instruct-262k中的config.json文件，把config.json里面的"torch_dtype": "bfloat16",修改成"torch_dtype": "float16"。2.6 增加examples/lora_single_gpu/llama3_lora_paper_review_sft.yaml文件。数据文件：paper_review.json。