LangChain脚本如何调度及提效？

概述

LangChain[1]是开源领域最流行的大模型编程开发框架，支持通过python/js语言快速构建AI应用。Dify[2]是开源的图形化大模型应用开发平台，可以通过可视化的画布拖拖拽拽快速构建AI agent/工作流。

通过任务调度系统托管AI任务，可以进行脚本版本管理、定时调度、提升资源利用率、限流控制、可运维、可观测。

由于篇幅有限，本文章主要介绍通过任务调度SchedulerX[3]进行LangChain脚本的管理和调度，Dify工作流调度将在下一篇介绍。

脚本管理及调度

AI任务有许多业务场景，需要定时调度，比如：

• 风险监控：每分钟扫描风险数据，通过大模型分析是否有风险事件，并发出报警。
• 数据分析：每天拉取金融数据，通过大模型进行数据分析，给出投资者建议。
• 内容生成：每天帮我做工作总结，写日报。

LangChain任务基本上都是python脚本，可以使用SchedulerX的脚本任务[4]托管脚本，并进行定时配置

任务调度SchedulerX还支持脚本的历史版本，方便进行历史版本的对比和回滚：

Prompt管理

Prompt（提示词）对于AI任务来说非常重要，为了得到好的效果，可能需要经常修改Prompt，将Prompt写在脚本中会非常麻烦。我们可以通过SchedulerX的任务参数来管理Prompt，在LangChain脚本中通过SchedulerX提供的系统参数（#{schedulerx.jobParameters}）动态获取任务参数，来代替Prompt或者PromptTemplate参数。

定时调度获取Prompt

Prompt写法

\1. 通过SchedulerX控制台编写脚本

from langchain_community.llms import Tongyifrom langchain.prompts import PromptTemplatefrom langchain.chains import LLMChain
llm = Tongyi(model="qwen-plus")question = "#{schedulerx.jobParameters}"print("question:" + question)
results = llm.invoke(question)print(results)

\2. 配置任务参数

PromptTemplate写法

\1. 通过SchedulerX控制台编写脚本

from langchain_community.llms import Tongyifrom langchain.prompts import PromptTemplatefrom langchain.chains import LLMChain
llm = Tongyi(model="qwen-plus")prompt = PromptTemplate(template="请帮我解答这个问题：{question}")
chain = LLMChain(llm=llm, prompt=prompt)question = "#{schedulerx.jobParameters}"print("question:" + question)
results = chain.invoke(question)print(results)

\2. 配置任务参数

API调度动态传递Prompt

SchedulerX也支持通过控制台手动运行或者API调度，动态设置新的Prompt，以上面PromptTemplate写法为例，通过控制台手动运行任务，动态传递任务参数，该任务参数会覆盖任务配置中的静态任务参数。

提升资源利用率

SchedulerX执行脚本，当前支持两种模式（未来会支持更多的运行时）：

• 脚本任务：在ECS上部署schedulerx-agent，每次执行fork一个子进程执行脚本，适合任务数比较多、调度频繁、资源消耗少的场景。
• K8s任务[5]：在K8s上部署schedulerx-agent，每次执行弹一个Pod执行脚本，适合任务数不多、调度不频繁、资源消耗大的场景。

两种运行时适合不同的场景，结合起来使用，可以提升资源利用率。

如上图所示，通过ECS执行脚本以及通过K8s执行脚本，主要区别总结下表：

限流控制

业务场景：比如有一堆离线任务，每天0点之后执行，处理上一天的数据，核心任务必须在早上9点上班前全部跑完。业务同学可能会把任务的调度时间都设置成同一时刻，比如每天00:30执行。

当大量任务同时调度的时候，会把ECS资源打满。虽然用K8s跑脚本可以解决一部分问题，但是突增的流量一样会把下游（比如数据库）打满。所以针对这种突增流量的场景，最佳解决方案是使用限流。通过限流控制解决定时调度不均特别是突发流量的场景，其实也是一种提升资源利用率的解决方案。

如上图所示，任务调度SchedulerX支持应用级别的限流控制：

\1. 每个应用会有2个队列，一个是优先级排队队列，可以把任务按照优先级在队列中排队，保证核心任务优先跑完。任务的优先级仅在自己的应用下生效，不会和其他应用产生冲突。

\2. 另一个是并发数队列，控制这个应用的并发数，不同应用的并发数彼此不受干扰。

\3. 当并发队列中某个任务运行完成，有空闲槽位后，会从排队队列头部取出任务，放到并发队列中，开始执行任务。

失败自动重试

当前大模型调用不是很稳定，大家平时和大模型聊天，可能会经常遇到token限流了，或者是后端服务异常了。这个时候我们只要过一会重新尝试下就好了。

任务调度SchedulerX自带任务失败自动重试功能，可以通过控制台动态配置，经过我们验证，使用失败重试功能，LangChain脚本因为后端大模型限流或者服务不可用导致的失败率大大降低，成功率可以提升至少一个9。

依赖编排

SchedulerX提供可视化任务编排能力，如果你的LangChain脚本有依赖关系，可以进行任务编排。甚至是不同任务类型的任务，都可以进行编排。

如上图所示：

\1. 先通过Shell脚本，去大数据平台拉取数据。

\2. 通过Java代码实现，做商家数据和用户数据清洗。

\3. 通过LangChain实现，把清洗好的数据用大模型做数据分析。

\4. 最后，再通过Python脚本生成报表。

企业级可观测

任务调度SchedulerX默认集成了各种云产品，提供企业级可观测能力，包括但不限于如下功能。

调度大盘

调度大盘可以看到任务执行的总体情况，支持按照命名空间和应用过滤筛选。

监控报警

任务如果执行失败了，需要快速响应处理，否则容易产生故障。SchedulerX支持应用级别报警，也能精细到每个任务级别，如下图所示是任务级别报警配置。

• 联系人管理：支持联系人和联系人组管理，支持同步云监控联系人。
• 报警方式：失败报警、超时报警、成功通知。
• 报警渠道：邮件、webhook、短信、电话。

日志服务

当任务执行失败了，需要查看任务运行的日志分析问题。只要接入schedulerx-agent运行脚本，默认就集成了日志服务，可以看到脚本运行的所有标准输出和异常。

\1. 配置如下脚本

\2. 任务参数配置如下

\3. 运行一次，查看日志

未来展望

在AI时代，AI任务调度面临着新的机遇和挑战，我们总结了一些常见的需求如下：

• AI任务管理：可以通过任务调度配置prompt模版、模型类型、输出格式等参数，通过控制台可以动态调整。
• 模型Failover：通过任务调度系统托管各种模型，如果某个模型调用失败，可以自动重试其他的模型，进一步提升任务执行的成功率。
• Tokens限流：每个任务返回消耗的tokens，任务调度系统能做到token级别的限流，防止触发下游大模型的API限流。
• AI任务批处理：AI任务执行时间比较长，特别是推理型模型时间更加长，通过任务调度系统进行任务拆分及分布式处理，加快任务执行速度。
• AI可观测：可以看到每个任务的执行耗时、消耗的tokens、输入和输出。如果是工作流，可以看到每个node级别的耗时、tokens消耗、输入和输出。

如何学习AI大模型 ？

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）

👉4.大模型落地应用案例PPT👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（全套教程文末领取哈）

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程文末领取哈）

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程文末领取哈）

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）