谈谈AI产品经理的产品开发流程

本文以智能文档审阅系统（IDP）和工业互联网数字孪生—故障预测为例，介绍AI产品经理在产品开发全流程过程中，每一阶段的工作内容、工作流程及注意事项，并结合具体案例方便对AI产品经理感兴趣的同学予以了解。文中尽量避免使用特征向量、归一化、RNN等专业词汇，可放心阅读。

一、需求定义

内容：这一初始阶段集中在从业务角度理解项目的目标和要求，然后把理解转化为模型能力的定义和一个初步执行计划。不仅要有整体技术研判力（可行性、技术难度、关键技术点），还要有业务洞察力，可以定义出可执行有价值的好问题。

流程：

注意：AI产品经理在本阶段要特别注意模型能力边界和模型类型确定。

案例：

这里说的模型类型除了回归、分类、聚类、序列之外，还要基于具体业务考虑其他情形，比如在线还是离线，因为如果目标客户比较注重数据安全，可能就会要求私有化部署，不允许连接外网调用模型接口。AI产品经理在需求分析阶段明确模型基础要求，也方便工程师在后续模型预研及成本分析方面提前有所考虑。

关于模型能力边界。请看这一条业务需求“系统自动抽取合同签订日期、中标通知书通知日期并进行时序性校验，合同签订日期不能早于中标通知书通知日期”，AI产品经理需要将此条业务需求的实现分解成先由模型执行抽取任务后，再由系统（平台）进行时序性比较。因为不同类型模型可执行的下游任务不同，仅以自然语言处理任务层级举例，如下图，我们这里提到的模型能力边界指的是第三次，即信息抽取、情感分析、问答系统、机器翻译和对话系统等。

自然语言处理任务层级

二、模型预研

内容：需求确定之后，AI产品经理需要和工程师进行沟通，要判断目前积累的数据和沉淀的算法，是否可以达到我们的业务需求。以及对原始数据的初步理解，发掘值得关注的数据子集以形成对隐藏信息的假设。

流程：

注意：在这个环节中，可能还需要根据算法工程师的预估，对上一阶段的需求内容进行调整。

案例：此阶段往往需要AI产品经理跟算法工程师经过多轮沟通，根据业务目标及原始数据质量的预估，确定模型预研的可行性等问题。比如以智能文档分析（IDP）系统举例，因为文档类型及业务规则的多样性往往需要多个模型共同完成一项业务需求，比如对一份合同的审核既需要对合同基本信息的抽取（如甲方、乙方、签订日期），也需要对合同中建设内容的相似性进行判断，还需要对合同中的表格数据进行分析。这就需要AI产品经理与工程师多次沟通，确定模型融合等解决方案的设计。

三、数据准备

内容：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限。“数据准备”阶段往往会占用整个工程60%以上的时间。产品经理基于对业务的理解，帮助工程师判断哪些数据集更具备代表性，以及明确数据来源、数据质量处理措施。

流程：

注意：“数据质量”问题除了数据模式层面，还要关心应用场景下的数据质量问题，应用场景相关的数据质量问题，与研究问题的范畴和业务上下文有关，通常不容易发现，有一定规律但不存在通用的方法。

案例：“数据异常”也许是被忽略的一些“正常场景”。

【业务背景】风电机组大部分采用同步变桨，在正常情形下，三个桨距角应该非常接近。因此，在变桨驱动系统异常研判中，常常会将三个桨距角的不一致性（如角度差或短期时序相关度）作为一个重要特征。

【数据现象1】如下图所示，某个风电机组在2013年8月9日21:45—21:47的表现。三个桨距角的初始值都在87.5°左右，然后三个桨距角逐步变为0°。

控制电路重启造成三个桨距角的大差异

【业务解读】这个过程实际上是调试过程中，变桨控制系统逐个重启造成的。在2013年8月9日21:45:40左右，第一个变桨控制电路进行了人工重启，然后依次对第二个、第三个进行了重启。

【对数据准备的启发】对于关键数据、关键结果要做必要的数据探索（画图或者看统计分布），数据中包含的内容超过我们的“预设”和“专家经验”。

四、模型构建

内容：AI产品经理基于对需求和业务的理解，配合算法工程师进行数据集的准备、模型训练、参数调优等等，及时跟进模型的目标优化，针对突发问题做出调整和决策。

流程：

注意：前面有提到“数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限。”算法工程师们花费在特征工程建立上面的时间，基本上占整个模型构建的 60%。AI产品经理在此阶段要尽量结合业务经验预判、保证特征的稳定性。

案例：磨煤机堵磨检测。

【数据特征】磨煤机堵磨研判，几小时内，电流持续上升，伴随入口风量下降。预将入口风量作为特征数据预测磨煤机堵磨。

【业务经验】入口风量影响因素太多，测量稳定性差，不应作为主要研判依据：多台磨煤机共用一个管道，它们的入口风量存在强耦合。

五、模型宣讲

内容：产品经理组织业务及算法相关同事一起参与，算法同事帮忙说明使用了什么算法和选择这个算法的原因，这个模型选择了哪些重要特征，训练的样本，以及算法同学的测试方案与结果。AI产品经理要有目的的引导业务了解算法逻辑，并可以用非技术语言跟领导及客户解释清楚模型逻辑。

流程：无

注意：此阶段主要对特征的来源，训练样本的合理性以及测试结果是否符合业务预期，是否合理进行评估预判。

案例：无

六、模型验收

内容：在模型评估环节，产品经理需要做的是，根据业务需求挑选合适的测试样本，请算法同学进行测试，并且提交测试结果。最后，再根据模型宣讲和测试的内容编写模型验收报告。

流程：

注意：在不同场景下，由于我们的业务目标不同，对模型的要求不同，对模型统计性指标的关注点也不会相同。AI产品经理需要明确知道针对不同的AI模型对应不同的评估指标，并根据业务需求提出模型验收要求。

案例：模型的评估主要包括三个部分：统计性、模型性能和模型稳定性。

统计性指标指的就是模型输出结果的覆盖度、最大值、最小值、人群分布等指标。以模型覆盖度为例，它表示模型可以覆盖人群的百分比，它的计算公式是：模型的覆盖度= 模型可以打分的人数 / 需要模型打分的人数。覆盖度越高，代表模型可以打分的人数越多，也就是说模型可以评估更多人。如果模型覆盖度过低，即使它的性能表现很好，在某些业务场景下模型也不可用。

模型性能和稳定性评估：分类模型的性能评价指标主要包括：混淆矩阵、KS、AUC 等。回归模型的性能评价指标主要包括：MAE（平均绝对误差）、MSE（均方误差）、RMSE（均方根误差）、R 方等。具体指标的介绍及分析有很多资料介绍，感兴趣的同学可以查一下，这里不再赘述。

工程开发、测试验收模块与传统互联网没有区别这里不再过多介绍。此外对于在线模型，在上线运营后需要对模型评估指标及特征持续性关注，可建立简单的监测系统定时监查。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。
• 内容：
  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
    - L1.4.1 知识大模型
    - L1.4.2 生产大模型
    - L1.4.3 模型工程方法论
    - L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
• 内容：
  • L2.1 API接口
    - L2.1.1 OpenAI API接口
    - L2.1.2 Python接口接入
    - L2.1.3 BOT工具类框架
    - L2.1.4 代码示例
  • L2.2 Prompt框架
    - L2.2.1 什么是Prompt
    - L2.2.2 Prompt框架应用现状
    - L2.2.3 基于GPTAS的Prompt框架
    - L2.2.4 Prompt框架与Thought
    - L2.2.5 Prompt框架与提示词
  • L2.3 流水线工程
    - L2.3.1 流水线工程的概念
    - L2.3.2 流水线工程的优点
    - L2.3.3 流水线工程的应用
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
• 内容：
  • L3.1 Agent模型框架
    - L3.1.1 Agent模型框架的设计理念
    - L3.1.2 Agent模型框架的核心组件
    - L3.1.3 Agent模型框架的实现细节
  • L3.2 MetaGPT
    - L3.2.1 MetaGPT的基本概念
    - L3.2.2 MetaGPT的工作原理
    - L3.2.3 MetaGPT的应用场景
  • L3.3 ChatGLM
    - L3.3.1 ChatGLM的特点
    - L3.3.2 ChatGLM的开发环境
    - L3.3.3 ChatGLM的使用示例
  • L3.4 LLAMA
    - L3.4.1 LLAMA的特点
    - L3.4.2 LLAMA的开发环境
    - L3.4.3 LLAMA的使用示例
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
• 内容：
  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

学习计划：

• 阶段1：1-2个月，建立AI大模型的基础知识体系。
• 阶段2：2-3个月，专注于API应用开发能力的提升。
• 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
• 阶段4：4-5个月，专注于高级模型的应用和部署。

这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓