LangChain+ChatGLM基本原理及私有化部署

一、LangChain
1.作用：用于提升大型语言模型（LLMs）功能的框架，能够让大型语言模型结合外部的计算和数据源，并根据信息执行指定操作。
结合LLM大模型外部数据等，外部工具及数据等实现特定文档问答、聊天机器人、代理执行任务以及文本摘要。
2.核心组件:
Prompts(提示): 管理LLM输入工具
Compents（组件）：为LLMs提供接口封装、模板提示和信息检索索引；
Chains（链）：能将LLM与其他组件如外部API、数据库等连接起来组合起来解决复杂任务流程，如在大量文本中查找信息；
Agents（代理）：使用LLM决策的工具，执行特定任务并生成文本输出，通常由动作、观察和决策三部分组成。
Memory（记忆）：用来存储先前输入、输出或其他信息，保存记忆多次调用上下文或历史数据。
3.执行流程：
用户问题->语言模型生成向量->向量数据库搜索相似->语言模型->根据结果执行操作
二、ChatGLM
1.GLM框架：
整体基于Transformer基础三个微小改动：
重新排列了层归一化和残差连接的顺序、针对token的输出预测使用单一线性层、用GeLU替换ReLU激活函数。
2. 应用场景：
基于 GLM（Generative Language Model）的自然语言处理模型，它具备强大的文本生成能力和语义理解能力，可以为用户提供高质量的对话体验。

三、安装部署

1. ChatGLM环境要求
   硬件配置:
   Int4 版本的 ChatGL