- 大家好,我是同学小张,日常分享AI知识和实战案例
- 欢迎 点赞 + 关注 👏,持续学习,持续干货输出。
- +v: jasper_8017 一起交流💬,一起进步💪。
- 微信公众号也可搜【同学小张】 🙏
本站文章一览:
今天介绍一个AI生产力工具:LangSmith。本篇文章主要在Tracing部分的实操,包括环境准备、如何将你的LangChain程序和LangSimth平台打通,如何使用LangSimth调试Prompt,以及如何进行在线数据标注和收集,为后面的自动化评估作准备。
在开始之前,我们先来了解下为什么要有LangSmith:
维护一个生产级的 LLM 应用,我们需要做什么?
- 各种指标监控与统计:访问记录、响应时长、Token用量、计费等等
- 调试 Prompt,Prompt 版本管理(便于升级/回滚)
- 测试/验证系统的相关评估指标
- 数据集管理(便于回归测试)
LangSimth平台帮助你快速、可视化完成上面的流程。它允许您调试、测试、评估和监控构建在任何LLM框架上的链和智能代理,并与LangChain无缝集成。