MktAI助理：数据与AI结合的营销效率提升利器

在当今数据驱动的营销环境中，如何高效地处理和分析海量数据成为了一个关键挑战。传统的“写SQL——刷数据——搭看板”模式不仅耗时费力，还可能导致业务同学面临找数难、查询慢等问题。为了解决这些痛点，我们团队研发了MktAI助理，旨在通过结合DATA+AI技术，提升营销数据的处理效率和洞察质量。本文将详细介绍MktAI助理的研发背景、底层能力及具体实践案例，展示其如何助力业务同学实现更高效的自助查询和分析洞察，推动营销数据科学的发展。

背景

日常工作过程中，数据需求且多且杂，如何让我们的工作有成就感的同时，也增加幸福感呢？我们常常会遇到以下问题：

• 众多的取数需求，传统交付模式效率低：接到业务的探测/取数需求后，通常我们会“写SQL——刷数据——搭看板”的模式交付，对于“查xxx商品/商家/画像/用户的数据明细”这种类似的临时查询需求，传统的交付模式性价比就十分低了，除了耗费人力和报表资源之外，还可能导致业务同学面临找数难、fbi查询加载慢的问题，交付效率低。不希望我们变成按需交付的report engineers

• 面对海量的数据，无法快速提取有效的洞察信息：

  • 商品运营/商家运营/渠道运营/行业类目运营 分析/挖掘/提炼要交叉的纬度很多：想要商家/用户/商品/价格力/售卖渠道效果数据互相交叉时，需要从各种各样的数科报表里的指标中定义到自己需要的模块，容易眼花缭乱；

  • 找到自己需要的指标和诊断信息后，也只是一排排的数字，可能因为口径理解不清晰，造成小二解读困惑，普惠数据反而造成了误判。

  • 更无法从繁杂的信息中快速洞察到指标异动、异动来源等信息，需要下载数据后再自行分析得出结论，获取有效信息的链路长。

为了解决这些问题，我们从业务需求和数科分析实践经验出发，基于AI Studio、bsp、OneService数据服务、java应用等平台研发了营销数科Agent——MktAI助理，希望通过不断实践与优化，解决数科和业务合作方在工作中可能遇到的效率卡点，助力生产提效。

• 她是你的私人助理，当你有数据需求时可以问问她，兴许能节约一些时间，解决你的日常困惑

• 她和大家一样，也在逐渐成长，当有不满足需求时，请务必联系我们，我们一定尝试喂入更多专业的领域知识，帮助她“更懂你”

• 我们希望结合DATA+AI，她能成为全域营销数据专家，虽然这个路还有很长的路要走，要探，要踩坑，但是相信，有朝一日学成归来，能刮目相看。

目前MktAI助理已经取得了一些效果，并分别在速爆和秒杀两个业务场景进行了实践落地：

• 自助查询：效率更高的交付模式。AI Agent能够根据用户输入的问题，理解用户的意图，根据用户的意图调用正确的查询工具，并从用户输入中解析出工具需要的参数（例如：商品id、用户画像等），最后根据用户的提问将查询到的数据以可读性高的形式返回给用户。目前，该功能已在速爆的通品诊断、流量扶持场景中覆盖，有效提升了查询效率。

• 分析洞察：让AI学会分析并可视化推理过程。我们根据以往的数据分析经验，沉淀出一些通用的数据解读模版，结合了CoT（Chain of Thought）的思想，通过让AI理解数科分析过程，并在回答用户问题时，应用并展示学习到的分析推理流程，不仅可以获得更加完整、更高质量的回答，还可以让用户看到清晰的推理流程，增加分析结论的可信度。目前，该功能已在秒杀的商品异动归因场景中覆盖，有效提高了业务洞察析数体验。

下面介绍一下MktAI助理的底层能力以及具体的实践案例。

底层能力

MktAI助理是一个基于AI Studio、bsp、OneService数据服务、java应用等平台搭建的AI Agent。它可以结合上下文，根据输入理解用户的意图，从中解析出有用的信息，并选择合适的工具进行调用，最后再根据用户需要对工具返回结果进行加工，完成用户任务的交付。下面具体介绍下MktAI助理是怎么搭建和实现的。

▐  2.1 整体架构

OpenAI应用研究主管Lilian Weng曾提出了“Agent = LLM x 记忆 x 技能规划 x 工具使用”的概念，其中LLM是Agent的大脑，记忆则是大脑中储存的历史信息和经验，在Prompt的引导下，LLM能够进行任务的拆分，评估不同的路径和策略，并灵活运用各种工具来支持任务的完成。

在与MktAI助理交互的过程中，AI Agent内部经历了如上图所示的工作流程，其中最核心的三个技术关键点为工具调用、提示词工程（Prompt Engineering）以及如何校准。

▐  2.2 工具调用（Function Calling）

工具调用指的是Agent通过学习调用外部API来获取模型中缺少的额外信息，从而显著提升自身能力，比如调用外部数据源、使用搜索引擎等。

• 2.2.1 Why Function Calling

• 获取外部信息：大模型自身用于训练的语料库更新慢，不够垂直。我们想借用LLM聪明的大脑帮我们解决所需的问题，就需要给这个大脑补充更多相关的知识储备，这时就需要用到工具调用（Function Calling）。业务场景中，需要借助外部工具查询信息、执行操作、处理逻辑等，都可以抽象成通用工具给LLM使用。例如外调订单接口来查询用户历史订单、外调商家数据源接口来查询商家信息等等。此外，也可以通过调用工具使用搜索引擎，获取在线的最新知识。

• 平衡不确定性：LLM的输出天然具有不确定性，即使有提示词也无法保证模型严格按照要求执行，而当某些外部资源的调用和流程遵循明确的规则时，我们可以将其抽象成一个工具，不仅简化了设计，也是应对LLM输出不确定性的重要机制，使得Agent在动态性和稳定性中取得平衡。例如，我们可以将异动分析、指标归因等通用的数科分析流程固化成一个个工具，保障LLM按照专家经验严格执行。

• 2.2.2 工具开发

工具开发采用阿里大数据体系架构：基于OneData数据建设体系，离线和实时计算业务数据，通过OneService封装各类业务场景数据服务，最后在API层完成工具协议的适配调用。

▐  2.3 提示词工程

提示词（Prompt）指的是引导AI模型生成特定输出或完成某项任务的文本，可以帮助模型理解用户的意图，从而生成更相关和准确的回答。提示词的作用包括：

• 结构化信息：提供上下文信息，使得模型能更好地理解问题或任务。

• 引导输出：通过明确的指示，帮助模型聚焦于用户感兴趣的主题或格式。

• 调整风格：通过提示词调整模型的回答风格，比如要求详细、简洁、正式或非正式等。

提示词工程，解决的就是如何与大模型进行有效对话的问题，通过优化和大模型的交流方式，我们可以让大模型更好地理解我们的意图和目标，从而提高模型回答的质量。

• 2.3.1 Prompt基础结构：LangGPT

MktAI助理采用的是LangGPT的prompt结构，主要由四个部分组成：

1. Role：包括角色描述、目标、技能和任何其他期望的特质。

2. Constraints：角色必须遵循的规则，通常包括他们必须采取或避免的行为，例如“绝不要打破角色”等。

3. Workflow：角色的工作流程，详细说明用户应该提供的输入类型以及角色应该如何响应。

4. Initialization：根据角色模板的配置初始化角色，大多数情况下只需要默认内容即可。

## Profile
- Author: qiaoyu
- Version: 1.0
- Language: 中文
## Goals:
- 基于用户提出的问题，识别用户意图，并路由到对应工具
- 提取必要参数并拼接，将参数作为工具的入参，调用工具查询日志。
- 分析日志结果并展示给用户，确保以对用户友好且易理解的方式解释诊断结果。


## Skills（需要说明每个技能调用什么工具、用户关键词是什么、模型该参考什么、给出什么样的回答、few shot示例）
1.技能1
2.技能2




## Constraints
1. 在调用相关API工具后，你需要解释结果，用markdown加粗标记重点以清晰的语言表述给用户。
2. 不要编造数据和事实。


## Workflow
1. 首先, xxx
2. 然后, xxx
3. 最后, xxx


## Initialization
作为MktAI助理，我擅长获取数据并进行诊断分析。我将用清晰和精确的语言与您对话。请告诉我您想要问的问题，我将竭诚为您提供分析结果.

• 2.3.2 思维模式：CoT

当我们的提示词不加任何引导地询问大模型一个问题时，让我们来看一个例子：

Q：xx商品在哪个渠道的投放效率最高？
A：xx商品在搜索渠道投放效率最高。

我们可以发现，以上问答中存在以下问题：

• 质量无法保障：大模型对投放效率的定义是什么，是不是比较了错误的指标？大模型需要比较哪些渠道，有没有遗漏某个渠道？这些关键步骤由于我们并没有在提示词中定义，所以会导致模型的回答具有随机性，无法保障回答的可靠性。

• 不可解释性：模型的输出缺少对判断过程的解释，比如每个渠道的转化效率排序是怎样的，影响了结果的可验证性，导致使用者无法信任模型回答。

为了解决这种问题，我们在提示词中加入了CoT（Chain of Thought）的思维模式。

CoT（Chain of Thought）是一种提示词策略，旨在引导模型按照给定的思维路径进行推理。这种方法通过鼓励模型逐步思考和解题，而不是直接给出最终答案，从而增强了其决策过程的透明度和准确性。例如，当面对一个复杂的问题时，CoT鼓励模型“思考”出每一步的逻辑，最终得出结论。在这个过程中，模型可以像人类一样，逐步分析问题的各个方面，从而找到更合适的解决方案。

用户询问：xx商品在哪个渠道的投放效率最高？


推理步骤：
1. 理解问题：首先你需要理解用户的需求，她在询问某个商品在哪个渠道的投放效率最高。
2. 分析需求：投放效率是根据cvr来衡量的，渠道有搜索和推荐两个渠道。因此，你需要比较该商品在搜索和推荐两个渠道的cvr，cvr高的渠道投放效率更高。
3. 作出决策：根据工具返回的数据，比较该商品在搜索和推荐两个渠道的cvr，得到结论。


限制：
1. 你需要在回答中体现你的推理过程，包括数据。

xx商品在搜索渠道的投放效率最高。具体推理过程为：用户问的是该商品在哪个渠道投放效率最高，则需要比较不同渠道的cvr。商品一共在搜索和推荐两个渠道有投放，其中搜索渠道的转化率为2%，推荐渠道转化率为1%，搜索渠道转化率最高，因此得出结论：xx商品在搜索渠道的投放效率最高。

通过借鉴CoT这一有效的思维框架，我们可以对提示词进行调优，使与模型的互动更加高效和顺畅。尽管每位用户可能会对该策略有不同的理解和应用方式，但CoT所提供的基本结构和思路为模型推理提供了清晰的指导，有助于提升最终结果的质量和可解释性。

• 2.3.3 迭代优化

通常我们需要多轮调试，根据模型回答不断调整和优化提示词，才能获得一个表现令人满意的Agent。我们可以多次运行同一Prompt，统计结果，并定义一些评估指标。

评估指标：

稳定性 = 出现类似答案的次数/总运行次数

准确性 = 出现满意回答的次数/总运行次数

通过不同prompt之间的ab测试，选择效果最好的作为最终的提示词。

▐  2.4 如何校准

• 2.4.1 过程可控

保障多次询问输出的结果唯一，不产生数据幻觉，需要做几层的保障

• 数据层面：干净的语料是AI的基础！！！确保高质量的元数据接入，通过元数据预处理和元数据质量评估，对质量较差的元数据进行指标库映射规范管理。并建立业务语义层和指标库的示例关系。

• 产品层面：开启上下文记忆与多轮追问，提供模糊问题的澄清和确认机制，解决无法同时查询的指标维度或存在歧义的问题纠偏。（这层Ai-Stuidio的Work-Flow已很好支持）

• 2.4.2 结果可信

为避免AI一本正经的“胡说八道”，prompt 可以考虑增加#Constraint

**非最终决策者**：仅提供专业建议，最终决策由用户综合决策后作出
**依赖原始数据做判断输出**：...
**回答长度**：不超过xxx

同时，为保障数据策略结果可信，可将输出结果对齐已有看板/数据资产或者通过人工标注方式告诉模型，目前我们主要采用的方式是和数据服务进行对齐，结合对齐方式有不同的AI层面融合应用。

对齐方式	决策360	MktAi助理输出
元数据对齐
报表模块对齐	略	模块嵌入AI呈现（待支持）

实践案例

目前MktAI助理分别在速爆和秒杀两个业务场景进行了实践落地，下面将对案例进行展开介绍。

▐  3.1 AI助力自助查询场景——自营超链通品查询

• 产品示意图

在速爆业务场景下，用户可针对自营超链通品进行诊断结果查询和扶持结果查询。

	诊断结果查询	扶持结果查询
单品查询
多品查询

• 业务效果

	MktAi助理	决策360
返回速度	✅更快：单品查询1min内可完成	由于数据量较大、筛选条件较多，导致查询时间较长
数据时效	✅更高：不仅支持离线表，也可以直接调用接口数据，减少“落表”动作	传统数据集只能用ODPS表或文档搭建，即使是小时表也存在延迟、耗资源等问题。 多维度交叉的场景，为了各别点查场景，却要提前生产全量的的大宽表，数据膨胀，浪费计算资源
数据汇总	✅更全：可以汇总多个看板数据直接输出更全的数据	数据看板多为分模块搭建，业务往往需要在多个表中联表查询
业务解读	✅可以根据知识库对数据结果做一些简单的解读，输出格式也可以做个性化要求（如表格、统计图等）	❌

▐  3.2 AI助力分析洞察场景——秒杀商品异动归因

• 业务流程

• 产品示意图

在秒杀业务场景下，用户可针对秒杀商品分析是否发生异动并进行异动归因。

• 业务效果

诊断过程白盒化：通过诊断COT过程输出，使商品归因结论可解释。通过模型白盒化其决策过程和关键指标，使得最终结果更加透明且易于小二理解，降低数科同学的答疑成本。

分析洞察提效：小二仅输入商品id则可获取分析结论，包含核心结论提炼、分析过程拆解和关键指标提炼，相比决策360报表繁琐的众多指标数据展示，AI分析洞察更加智能和高效。

▐  3.3 AI助力分析挖掘场景——秒杀目标人群偏好品规

• 业务流程

• 产品示意图

• 业务效果

供给分析体系化：将目标人群信息、人群偏好网格信息、偏好网格商品信息通过AI串联起来，形成由上至下的从【人群->网格->商品】这一完整链路的体系化数据分析过程，相比在决策360多个报表来回切换的散点式、断层式查询，AI输出的分析过程更加清晰连贯，结论更加精炼和体系化。

高效决策支持：在众多网格和对应商品当中，通过AI输出代表性的偏好网格和热销商品，使决策支持更加直观高效，减少小二读取报表一系列冗余信息的干扰。

总结

通过营销智能Agent——MktAi助理的研发与应用，有效地解决传统数据交付模式中存在的效率低下和信息洞察能力不足的问题。自助查询功能的实现，使得业务同学能够快速获取所需数据，从而节省了大量的时间和人力成本；而分析洞察功能则提升了数据解读的质量与透明度，为业务决策提供了更有力的支持。这些阶段性成果不仅优化了数据分析流程，还促进了数科与业务的深度合作，提升了整体运营效率。未来，我们将继续优化和扩展营销AI Agent（MktAi助理）的功能，一方面持续完善底层多维业务资产的建模清洗接入，另一方面探索更多适合接入AI Agent的业务场景，以更好地满足业务需求。Data+AI提效离不开大家的通力协作，也欢迎有志之士加入淘天业务技术-营销数据科学团队，共创未来。

团队介绍

我们是淘天业务技术-营销&交易技术-营销数据科学团队，围绕电商最核心的营销与交易底层数据资产基座，构建商品大促&日销期招选搭投、多渠道销售评价&实验等数据体系，保障消费者营销与价格体验。通过不断探索实践“流式湖仓/流批一体/实验科学/Data+AI”等先进数据技术，为小二打造更便捷的资产解决方案、多维度的数据洞察与数据科学优选&策略输出能力，让用户享受更好的消费体验，让商家更低成本经营。

¤ 拓展阅读 ¤

3DXR技术 | 终端技术 | 音视频技术

服务端技术 | 技术质量 | 数据算法