LLM 大模型框架 LangChain 可观测性最佳实践

LLM（Large Language Model）大模型的可观测性是指对模型内部运行过程的理解和监控能力。由于LLM大模型通常具有庞大的参数量和复杂的网络结构，因此对其内部状态和运行过程的理解和监控是一个重要的问题。

什么是 LangChain？

LangChain 是一个开源的应用开发框架，旨在将大型语言模型（LLM）与开发者现有的知识和系统相结合，以提供更智能化的服务。具体来说，LangChain 可以帮助开发者f轻松地管理与 LLM 的交互，将多个组件链接在一起，并集成额外的资源，例如 API 和数据库。

此外，LangChain 还提供了多种工具、组件和接口，以简化创建由 LLM 提供支持的应用程序的过程。例如，它提供了模型输入/输出管理工具，用于管理 LLM 及其输入和格式化输出；Prompt 模板支持自定义 Prompt 工程的快速实现以及和 LLMs 的对接；Utils 组件提供了大模型常见的植入能力的封装，如搜索引擎、Python 编译器、Bash 编译器、数据库等；Chains 组件则提供了大模型针对一系列任务的顺序执行逻辑链。

因此，LangChain 的应用场景非常广泛，可以应用于自然语言处理、聊天机器人、智能客服、文本生成等多个领域。同时，由于其开源的特性，LangChain 也可以被广大开发者用于定制开发自己的 LLM 应用，从而推动人工智能技术的不断发展和创新。

LangChain 可观测性体系

LangChain 本身并没有提供可观测性能力，但可以通过集成其他工具来实现对 LangChain 应用的可观测性，以此来提高大模型的可解释性和可控性。

• 日志：收集、存储和分析 LangChain 应用的日志数据。通过日志数据，可以监控应用程序的运行状态、错误日志、用户行为等信息。
• 指标：使用监控工具收集 LangChain 应用的性能指标，如响应时间、吞吐量、错误率等。这些指标可以帮助你了解应用程序的性能瓶颈和潜在问题，并及时进行优化和调整。
• 组件依赖：监控 LangChain 应用所依赖的服务或组件，如数据库、API接口等。确保这些依赖服务的可用性和性能稳定，以避免因依赖问题导致的应用故障。
• 自定义监控：根据具体需求，可以编写自定义的监控脚本或插件，用于监控特定的业务逻辑或功能。例如，你可以编写脚本监控某个特定任务的执行情况、API 接口的调用频率等。
• 告警与通知：设置告警规则，当监控数据达到预设的阈值时，触发告警并通知相关人员。这可以帮助你及时发现并处理潜在问题，确保应用程序的稳定运行。

需要注意的是，可观测性方案的选择和实施应根据具体的应用场景和需求进行定制。

LangChain 可观测性接入方案

准备工作

安装 DataKit

token 在「观测云控制台」-「集成」-「Datakit」 上面获取。

ini
复制代码
DK_DATAWAY="https://openway.guance.com?token=tkn_xxxxxx" bash -c "$(curl -L https://static.guance.com/datakit/install.sh)" 

DataKit 采集器配置

• 开启 DDTrace 采集器

DDTrace 采集器用于采集链路信息，进入到 DataKit 安装目录下，执行 conf.d/ddtrace/，复制 ddtrace.conf.sample 并重命名为 ddtrace.conf 。

• 开启 StatsD 采集器

StatsD 采集器用于采集指标信息，默认端口为 8125 。

• 重启 DataKit

复制代码
systemctl restart datakit

准备 OpenAI API Key

在 Langchain 应用中使用 OpenAI 的模型，需要一个 API Key，点击 platform.openai.com/account/api… 创建你的 API Key。

模拟 LLM 应用并接入观测云

主要实现了一个基于 OpenAI 的 GPT-3.5 模型的聊天对话系统，并设置了一个函数来跟踪 API 令牌的使用情况。

• 安装 Python 依赖

复制代码
pip install langchain
pip install openai
pip install ddtrace

• 创建 LLM

使用 Langchain 创建 LLM，模型选择 gpt-3.5 。

ini
复制代码
llm = ChatOpenAI(model='gpt-3.5-turbo',temperature=0)

• 创建 ConversationChain 对象

创建一个 ConversationChain 对象，传入之前创建的 llm 对象，设置 verbose 为 True（表示输出详细的调试信息），并使用 ConversationBufferMemory 作为记忆储存。

ini
复制代码
conversation = ConversationChain(
    llm=llm, verbose=True, memory=ConversationBufferMemory()
)

• 创建对话函数

定义一个函数 track_tokens_usage ，它接受一个对话链和一个查询作为参数。

python
复制代码
def track_tokens_usage(chain, query):
    with get_openai_callback() as cb:
        result = chain.run(query)
        print(f"prompt token {cb.prompt_tokens}, res token {cb.completion_tokens}, total token {cb.total_tokens}")
        print(f"successful requests {cb.successful_requests}, total cost {cb.total_cost}USD")
        print(result)
    return result

通过回调函数 get_openai_callback 创建一个回调对象 cb ，并通过对象 cb 可以获取请求相关信息：请求数、消耗金额、令牌数量等。

• 调用

scss
复制代码
track_tokens_usage(conversation, "介绍一下观测云可观测性的产品及优势")

由于执行完成后，进程会退出，添加以下代码阻止退出，方便相关数据及时上报。

lua
复制代码
print("脚本执行完成，按 Enter 键退出...")
input()

• 执行脚本

ini
复制代码
DD_SERVICE="my-langchain" DD_ENV="dev" DD_AGENT_HOST="localhost" DD_AGENT_PORT="9529" ddtrace-run python3 langchain_demo.py 

LangChain 可观测性实践效果

• 指标

• 调用链

常见问题

Token 异常

如果没有配置 Token，则会报错：

go
复制代码
pydantic.v1.error_wrappers.ValidationError: 1 validation error for ChatOpenAI
__root__
  Did not find openai_api_key, please add an environment variable `OPENAI_API_KEY` which contains it, or pass `openai_api_key` as a named parameter. (type=value_error)

关于 Token，可以在代码中定义：

lua
复制代码
import os
os.environ["OPENAI_API_KEY"] = 'sk-...DcE2'

但不建议那么做，可以使用环境变量方式：

OPENAI_API_KEY=“sk-…DcE2”

余额不足

css
复制代码
openai.RateLimitError: Error code: 429 - {'error': {'message': 'You exceeded your current quota, please check your plan and billing details. For more information on this error, read the docs: https://platform.openai.com/docs/guides/error-codes/api-errors.', 'type': 'insufficient_quota', 'param': None, 'code': 'insufficient_quota'}}

代理

如需配置代理，可以加入以下配置：

lua
复制代码
import os
os.environ["http_proxy"] = "http://localhost:7890"
os.environ["https_proxy"] = "http://localhost:7890"

其他第三方 API

如果需要更换第三方 API 地址，可以使用以下方式：

lua
复制代码
import os
os.environ["OPENAI_API_BASE"] = 'https://chatapi.a3e.top/v1'

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取==🆓