一、需求定义
这一初始阶段集中在从业务角度理解项目的目标和要求,然后把理解转化为模型能力的定义和一个初步执行计划。不仅要有整体技术研判力(可行性、技术难度、关键技术点),还要有业务洞察力,可以定义出可执行有价值的好问题。
⚠️ 注意:AI产品经理在本阶段要特别注意模型能力边界和模型类型确定。
✳️ 案例:
这里说的模型类型除了回归、分类、聚类、序列之外,还要基于具体业务考虑其他情形, 比如在线还是离线,因为如果目标客户比较注重数据安全,可能就会要求私有化部署,不允许连接外网调用模型接口。AI产品经理在需求分析阶段明确模型基础要求,也方便工程师在后续模型预研及成本分析方面提前有所考虑。
关于模型能力边界。请看这一条业务需求“系统自动抽取合同签订日期、中标通知书通知日期并进行时序性校验,合同签订日期不能早于中标通知书通知日期”, AI产品经理需要将此条业务需求的实现分解成先由模型执行抽取任务后,再由系统(平台)进行时序性比较。
因为不同类型模型可执行的下游任务不同,仅以自然语言处理任务层级举例,如下图,我们这里提到的模型能力边界指的是第三次,即信息抽取、情感分析、问答系统、机器翻译和对话系统等。
二、模型预研
需求确定之后,AI产品经理需要和工程师进行沟通,要判断目前积累的数据和沉淀的算法,是否可以达到我们的业务需求。以及对原始数据的初步理解,发掘值得关注的数据子集以形成对隐藏信息的假设。
⚠️注意: 在这个环节中,可能还需要根据算法工程师的预估,对上一阶段的需求内容进行调整。
✳️ 案例: 此阶段往往需要AI产品经理跟算法工程师经过多轮沟通,根据业务目标及原始数据质量的预估,确定模型预研的可行性等问题。
比如以智能文档分析(IDP)系统举例,因为文档类型及业务规则的多样性往往需要多个模型共同完成一项业务需求,比如对一份合同的审核既需要对合同基本信息的抽取(如甲方、乙方、签订日期),也需要对合同中建设内容的相似性进行判断,还需要对合同中的表格数据进行分析。
这就需要AI产品经理与工程师多次沟通,确定模型融合等解决方案的设计。
三、数据准备
数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限。“数据准备”阶段往往会占用整个工程60%以上的时间。 产品经理基于对业务的理解,帮助工程师判断哪些数据集更具备代表性,以及明确数据来源、数据质量处理措施。
⚠️ 注意:“数据质量”问题除了数据模式层面,还要关心应用场景下的数据质量问题,应用场景相关的数据质量问题,与研究问题的范畴和业务上下文有关,通常不容易发现,有一定规律但不存在通用的方法。
四、模型构建
AI产品经理基于对需求和业务的理解,配合算法工程师进行数据集的准备、模型训练、参数调优等等,及时跟进模型的目标优化,针对突发问题做出调整和决策。
⚠️注意: 前面有提到“数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限。”算法工程师们花费在特征工程建立上面的时间,基本上占整个模型构建的 60%。AI产品经理在此阶段要尽量结合业务经验预判、保证特征的稳定性。
五、模型宣讲
产品经理组织业务及算法相关同事一起参与,算法同事帮忙说明使用了什么算法和选择这个算法的原因,这个模型选择了哪些重要特征,训练的样本,以及算法同学的测试方案与结果。AI产品经理要有目的的引导业务了解算法逻辑,并可以用非技术语言跟领导及客户解释清楚模型逻辑。
流程:无
⚠️注意:此阶段主要对特征的来源,训练样本的合理性以及测试结果是否符合业务预期,是否合理进行评估预判。
六、模型验收
在模型评估环节,产品经理需要做的是,根据业务需求挑选合适的测试样本,请算法同学进行测试,并且提交测试结果。最后,再根据模型宣讲和测试的内容编写模型验收报告。
⚠️注意: 在不同场景下,由于我们的业务目标不同,对模型的要求不同,对模型统计性指标的关注点也不会相同。AI产品经理需要明确知道针对不同的AI模型对应不同的评估指标,并根据业务需求提出模型验收要求。
✳️ 案例: 模型的评估主要包括三个部分:统计性、模型性能和模型稳定性。
统计性指标指的就是模型输出结果的覆盖度、最大值、最小值、人群分布等指标。以模型覆盖度为例,它表示模型可以覆盖人群的百分比, 它的计算公式是:模型的覆盖度= 模型可以打分的人数 / 需要模型打分的人数。
覆盖度越高,代表模型可以打分的人数越多,也就是说模型可以评估更多人。如果模型覆盖度过低,即使它的性能表现很好,在某些业务场景下模型也不可用。
模型性能和稳定性评估:分类模型的性能评价指标主要包括:混淆矩阵、KS、AUC 等。回归模型的性能评价指标主要包括:MAE(平均绝对误差)、MSE(均方误差)、RMSE(均方根误差)、R 方等。
具体指标的介绍及分析有很多资料介绍,这里不再赘述哦。
AI产品经理,0基础小白入门指南
作为一个零基础小白,如何做到真正的入局AI产品?
什么才叫真正的入局?
是否懂 AI、是否懂产品经理,是否具备利用大模型去开发应用能力,是否能够对大模型进行调优,将会是决定自己职业前景的重要参数。
你是否遇到这些问题:
1、传统产品经理
- 不懂Al无法对AI产品做出判断,和技术沟通丧失话语权
- 不了解 AI产品经理的工作流程、重点
2、互联网业务负责人/运营
- 对AI焦虑,又不知道怎么落地到业务中想做定制化AI产品并落地创收缺乏实战指导
3、大学生/小白
- 就业难,不懂技术不知如何从事AI产品经理想要进入AI赛道,缺乏职业发展规划,感觉遥不可及
为了帮助开发者打破壁垒,快速了解AI产品经理核心技术原理,学习相关AI产品经理,及大模型技术。从原理出发真正入局AI产品经理。
这里整理了一些AI产品经理学习资料包给大家
📖AI产品经理经典面试八股文
📖大模型RAG经验面试题
📖大模型LLMS面试宝典
📖大模型典型示范应用案例集99个
📖AI产品经理入门书籍
📖生成式AI商业落地白皮书
学习路线
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
🔥作为AI产品经理,不仅要懂行业发展方向,也要懂AI技术,可以帮助大家:
✅深入了解大语言模型商业应用,快速掌握AI产品技能
✅掌握AI算法原理与未来趋势,提升多模态AI领域工作能力
✅实战案例与技巧分享,避免产品开发弯路
这份《AI产品经理学习资料包》已经上传CSDN,还有完整版的大模型 AI 学习资料,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
资料包: 完整版本链接获取
👉[CSDN大礼包🎁:《
AI产品经理学习资料包
》免费分享(安全链接,放心点击)]👈