宣晨光

这样，语言模型不仅利用了自己的通用知识，还可以充分运用外部输入文档的专业信息来回答用户问题，显著提升答案的质量和适用性。它们都是轻便的，防皱的，有前后背部通风口和前面的褶皱口袋。基于文档问答的这个过程，我们会涉及 LangChain 中的其他组件，比如：嵌入模型（Embedding Models)和向量储存(Vector Stores)，本章让我们一起来学习这部分的内容。可以看到，导入的数据集为一个户外服装的 CSV 文件，接下来我们将在语言模型中使用它。，使语义相似的文本片段具有接近的向量表示。

链（Chains）通常将大语言模型（LLM）与提示（Prompt）结合在一起，可以对文本或数据进行一系列操作。链（Chains）可以一次性接受多个输入。例如，我们可以创建一个链，该链接受用户输入，使用提示模板对其进行格式化，然后将格式化的响应传递给 LLM 。我们可以通过将多个链组合在一起，或者通过将链与其他组件组合在一起来构建更复杂的链。

LLM大模型本身并不具备记忆、存储功能，是无状态的；LangChain 提供了多种储存类型，本质上是将历史的对话内容暂时存储，并在下次一并发送给模型，但这种存储功能，增加了大模型在内容解析、性能资源的消耗。本文基于Langchain-chat-0.2.x版本 + chatglm3-6b 模型部署使用1、会话存储类型对话缓存储存即储存了当前为止所有的对话信息对话缓存窗口储存随着对话变得越来越长，所需的内存量也变得非常长。将大量的tokens发送到LLM的成本，也会变得更加昂贵。

即使没有提供的理想答案，只要能制定一个评估标准，就可以使用一个 LLM 来评估另一个 LLM 的输出。如果可以提供理想答案，那么可以帮助 LLM 更好地比较特定助手输出是否与提供的理想答案相似。

如何确知其LLM运行状况呢？更甚者，当我们将其部署并让用户开始使用之后，我们又该如何追踪其表现，发现可能存在的问题，并持续优化它的回答质量呢。实验过程：1、先在小规模集上进行正确性测试2、批量化测试3、自动化及正确率评估

核心流程说明：对用户的输入进行检验，验证其是否可以通过审核 API 的标准。若输入顺利通过审核，我们将进一步对产品目录进行搜索。若产品搜索成功，我们将继续寻找相关的产品信息。我们使用模型针对用户的问题进行回答。最后，我们会使用审核 API 对生成的回答进行再次的检验。如果最终答案没有被标记为有害，那么我们将毫无保留地将其呈现给用户。

Xorbits Inference (Xinference) 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。聊天 & 生成工具视觉嵌入重排序图像（实验性质）音频（实验性质）内置模型大语言模型嵌入模型Image Models音频模型重排序模型自定义模型模型来源集成LoRA模型显存使用量计算

从0.3.1开始，模型与项目独立部署，需要借助xinference、oneai、localai等平台独立部署大模型，Langchain-Chat通过接口API调用1、0.3与0.2的功能对比功能 0.2.x 0.3.x模型接入 本地：fastchat在线：XXXModelWorker 本地：model_provider,支持大部分主流模型加载框架在线：oneapi所有模型接入均兼容openai sdkAgent ❌不稳定 ✅针对ChatGLM3和QWen进行优化,Agent能力显著提升

语言模型需要进行详细的逐步推理才能回答特定问题。如果过于匆忙得出结论，很可能在推理链中出现错误。通过引导语言模型逐步推理的方法，可以减少其匆忙错误，生成更准确可靠的响应。

​由于在【LLM】-09-搭建问答系统-对输入Prompt检查-CSDN博客关于提示词注入问题上，使用Langchain 配合chatglm3-6b 无法从根本上防止注入攻击问题。并且在Langchian中无法部署llama3模型（切换模型错误，原因暂未解决）所以直接部署llama3中文大模型。选择llama-3-chinese-8b-instruct-v3 模型，需要16G显存。部署使用参考文档https://github.com/ymcui/Chinese-LLaMA-A

在处理不同情况下的多个独立指令集的任务时，首先对查询类型进行分类。例如，在构建客户服务助手时，对查询类型进行分类并根据分类确定要使用的指令。如果用户要求关闭其账户，二级指令可能是添加有关如何关闭账户的额外说明；如果用户询问特定产品信息，二级指令可能会提供更多的产品信息。

大语言模型（LLM）是通过预测下一个词的监督学习方式进行训练的。具体来说，1.1、训练过程：1）首先准备一个包含数百亿甚至更多词的大规模文本数据集。2）从这些文本中提取句子或句子片段作为模型输入。模型会根据当前输入 Context 预测下一个词的概率分布。3）通过不断比较模型预测和实际的下一个词，并更新模型参数最小化两者差异,语言模型逐步掌握了语言的规律，学会了预测下一个词。这种以预测下一个词为训练目标的方法使得语言模型获得强大的语言生成能力。

利用会话形式，与具有个性化特性（或专门为特定任务或行为设计）的聊天机器人进行深度对话。在 Chat网页界面中，我们的消息称为用户消息，而ChatGPT 的消息称为助手消息。但在构建聊天机器人时，在发送了系统消息之后，您的角色可以仅作为用户 (user) ；也可以在用户和助手 (assistant) 之间交替，从而提供对话上下文。第一条消息中，我们以系统身份发送系统消息 (system message) ，它提供了一个总体的指示。系统消息则有助于设置助手的行为和角色，并作为对话

文本扩展是大语言模型的一个重要应用方向，它可以输入简短文本，生成更加丰富的长文。这为创作提供了强大支持。我们将根据客户的评价和其中的情感倾向，使用大语言模型针对性地生成回复邮件。通过输入客户反馈的具体内容和情感态度，语言模型可以生成针对这个特定客户、考虑其具体情感因素的个性化回复。这种针对个体客户特点的邮件生成方式，将大大提升客户满意度。

1、软硬件要求1.1、软件要求Linux Ubuntu 22.04.5 kernel version 6.7开发者在以下环境下进行代码调试，在该环境下能够避免最多环境问题。Python 版本 == 3.11.7CUDA 版本: == 12.11.2、硬件要求在GPU运行本地模型的FP16版本ChatGLM3-6B & LLaMA-7B-Chat 等 7B模型最低显存要求: 14GB推荐显卡: RTX 4080Qwen-14B-Chat 等 14B模型最低显存要求: 30GB

大语言模型具有强大的文本转换能力，可以实现多语言翻译、拼写纠正、语法调整、格式转换等不同类型的文本转换任务。利用语言模型进行各类转换是它的典型应用之一。

对于许多这样的任务，你只需要编写一个 Prompt，就可以开始生成结果，大大减轻了你的工作负担。这个发现像是找到了一把神奇的钥匙，让应用程序开发的速度加快了许多。最令你兴奋的是，你可以仅仅使用一个模型和一个 API 来执行许多不同的任务，无需再纠结如何训练和部署许多不同的模型。

通过多版本的试错调整。一般的迭代流程是：1）首先尝试一个初版，分析结果，2）然后继续改进 Prompt，逐步逼近最优。

在 ChatGPT 引发大语言模型新时代之后，Prompt 即成为与大模型交互输入的代称。即我们一般将给大模型的输入称为 Prompt，将大模型返回的输出称为 Completion。