【大模型+数据分析】产品如何打造?——本文为你揭秘关键步骤与成功策略!

前言

数据分析,是产品优化的催化剂、养料。每行每业的业务发展都离不开数据的分析和洞察,基于数据进行决策。大模型技术的出现,也衍生出了诸多优秀的“大模型+数据分析”的产品方案。不论是企业,还是个人开发者,还是从事【数据分析】相关工作的产品、技术、运营人员,个人认为都有必要了解一下,行业里优秀的GBI产品都是怎么做的,同时还要学会使用这些产品/能力,为自己的工作提效、赋能。

1、本文适合读者:

  • 互联网从业者/大模型行业从业者,产品经理、研发、解决方案架构师等;尤其是做大模型、做数据相关的童鞋可重点关注⭐️;

  • 其它对大模型行业应用、大模型产品逻辑感兴趣的朋友;

2、本文价值点:

本文可辅助各位了解业内“大模型+数据分析”(GBI)的优秀产品,是怎么“玩”的。

包括支撑的业务场景、产品功能、产品架构、产品实现链路等,并提供具体的测试case,给各位直观的体验。——以辅助我们,遇到类似产品/项目,该如何设计系统方案,取精华、弃糟粕。

02 AI大厂、AI独角兽–GBI产品调研

2.1 阿里云-析言GBI产品调研(功能、架构、产品实现逻辑等)

  • 产品概述:析言GBI是基于阿里云【通义大语言模型】在【数据分析领域】专门增强的原生数据助理,通过自然语言交互实现NL2SQL数据问答分析、洞察等多维度的大模型智能分析应用,适用于业务变化较快、数据分析时效性强的一线业务场景。

  • 析言GBI助力于数据分析全链路智能化升级,两大核心业务场景:数据问答、数据分析

  • 析言GBI-核心功能:智能体相关能力矩阵(Multi-Agent引擎)、以及数据源管理是支撑该产品业务功能实现的核心。

  • Multi-Agent引擎包括底层的“代码解释器”、“检索增强工具”、“数据查询工具”,以及多轮Chat、任务规划、选表、数据查询、数据分析及可视化Agent,以及更底层的Qwen大语言模型。

  • 数据源管理,支持云上数据管理(利用DB Connector组件:打通多种云数据库)和 非云数据管理,Adapter组件打通云上和非云数据。

  • 析言GBI-高阶功能:模型输出干预、数据集管理等;

产品版本对比:

析言GBI产品当前分为三个版本:标准版Turbo、标准版Mix以及定制版Turbo。析言标准版Turbo、标准版Mix以及定制版Turbo均已上线。标准版Turbo、标准版Mix提供试用版本,定制版Turbo暂不支持。各版本特点如下:

产品部署方案:

析言支持公有云和 公有云&本地混合部署 两种部署方案,企业可根据业务情况自主选择。

同时该产品,对于一些模型可能不知道的业务问法/业务逻辑(_如特斯拉某一年的销量,业务期望默认按高到低输出,但模型并不知道;_还有某些特殊的算数公式,模型也不知道),这时就可以提供一些业务定制逻辑,析言支持以【算法定制】(模型微调)方式支持业务需求。

【析言】落地案例:

以上内容调研自阿里云官方,本人整理加工,供各位学习交流~

读到这,相信各位同行,对阿里析言-的产品架构、功能、实现链路、支撑的业务场景等内容大框有所了解了,但还不具体。所以后文,本人将以几个小case,辅助大家更直观地了解其产品能力(详见3.3小节)。

下面👇🏻,我们先再来看一看,优秀的AGI独角兽厂商:智谱清言,其关于GBI的相关产品方案和实现逻辑。

2.2 智谱清言-【数据分析】智能体-调研

智谱清言,关于数据分析业务需求场景,提供了【数据分析】智能体。

智谱清言-数据分析智能体-官方API介绍:用户可通过分析用户上传文件或数据说明,帮助用户分析数据并提供图表化,也可通过简单的编码完成文件处理的工作。

在线使用地址:https://bigmodel.cn/dev/api/qingyanassistant/assistantapi

2.3 阿里析言、智谱清言、通义千问2.5–GBI能力测试

  • 阿里析言-官方体验DEMO:https://bailian.console.aliyun.com/

(1)析言产品的使用流程:

  1. 关联并授权析言访问指定数据库;

  2. 配置您授权析言访问的数据表schema信息

  3. 配置您在使用析言进行问答时可能涉及的业务知识。

(2.1)使用官方预置数据–测试析言-数据问答能力

官方预置的数据库包括三张数据表:消费者信息表(customers)、订单信息表(orders)以及商品信息表(products)。我们可以查看各数据表字段及其表内容。

第一个问题:“显示在2023-10月之前加入的客户名单”(这是该系统预置的问题)

(图3 阿里析言-产品实际测试case:查询customer数据表的数据)

(图4 阿里析言-产品实际测试case:查询“物流状态”)

(2.2)使用自定义数据–测试【析言】‘数据问答’、‘数据分析’能力

目前析言官方支持:链接数据库上传数据文件(但目前仅支持“析言-Mix”版支持),两种方式供用户自定义数据源和数据管理及实现“数据问答”和“数据分析”。

**
在这里插入图片描述

这里本人通过上传【数据文件】方式,进行测试和体验。**

这里使用一个本人想要实际分析的数据(用户与机器人的对话数据,脱敏版);

上传完文件后,进行提问。析言回答如下:

没有完成我的任务指令,便停止了工作。可能是用户需求过于复杂,下面我们将需求拆开,分别提需。

(1)简单的【数据总行数】统计类需求,可以很容易就完成(其实都不用测)

(2)智能分析需求:找出这数据里面,机器人回复效果不好的case,给出原因和推荐回复。析言完成不了。以及更高阶的评估机器人回复质量,更完成不了了。

对比同样的测试,智谱清言–【数据分析】智能体和ChatGPT的回复,孰强孰弱、高下立判~

(可在后续内容👇🏻中查看智谱清言的完整回复)。

(2.3)使用自定义数据–测试【智谱清言-数据分析智能体】‘数据问答’、‘分析’能力

1、关于统计数据总数,这个各家智能体都能实现。没什么可比性。

2、关于“智能分析–机器人回复效果好与坏、并统计回复准确率”这样的业务问题,我们试着拆解一下智谱AI的执行逻辑:

智谱清言(针对上述数据分析case)的回复

备注(执行逻辑抽象)

智谱清言-数据分析针对数据文件+数据分析需求执行逻辑:

 

1、加载并查看数据,以了解数据结构和特点。

 

可以看到:其使用了【Python代码解释器】来完成该任务。


2、阐述用户的问题,并告知用户其回答顺序。

 

2.1 先回答第一个问题:数据总条数统计。

——可以看到,其仍然是调用了【Python代码解释器】来完成这个统计需求。



2.2 回答第二个业务问题

(分析机器人的回复质量)


可以看到,它的工作路径:


a)制定了评估标准;

b)规划:


b.1)先随机抽查数据;


b.2)对抽查出的数据,分析评估(按此前其制定的评估标准);

b.3)基于抽查出的问题,给出建议。



2.3 回答第三个业务问题(计算数据中的机器人回复准确率)

——这是一个复杂的业务,可以看到该智能体进行了任务分析和下述规划:

c.1)定义评估维度和标准;

c.2)制定打分标准;

c.3)对数据进行评估。——自主随机选取了10%数据,评估。然后估计整体准确率。

——调用了【Python代码解释器】。


用户问题全部回答完后,询问用户相关的需求,体验很好👍🏻

1、我们可以清楚地看到,智谱AI-数据分析智能体,具备较强的**【需求分析】、【任务规划】和【具体任务的执行能力】**。

2、关于这类数据评估的任务,它知道要先制定评估标准和评估指标->给出打分表区间(10分制还是1分制…)->调用【Python代码解释器】等工具,执行【打分】任务->计算数据指标。

3、关于上述👆🏻回答中,随机抽取10%数据进行分析和评估的这种解法——不能其说好,也不能说坏。

——这样做,可在一定程度上可以避免用户上传数据过长、分析任务过难、计算资源开销大等问题。但对于数据表本身就不大的业务需求,只能完成用户的部分需求,或者也只是“形式上”完成了用户需求。

——该case模型更进阶的解法,个人认为可以根据用户分析的数据量大小自主决定分析部分 or 全部(当前逻辑,猜测其官方可能也是这样),同时最好给出评估明细,或者询问用户是否要给出上述评估结果的明细数据,这样体验更好

(2.4)使用自定义数据–测试【阿里-通义千问2.5】‘数据问答’、‘分析’能力

通义千问-2.5,针对该问题,实际比其内部的【析言】产品表现要好,所有问题均回答了,不会像析言一样,回答到一半就停了。

  • 千问2.5关于第2个业务问题(它找出来的它认为机器人回复不好的case,其实蛮具有代表性,分析的错误原因也蛮正确,给出的推荐回复也比较好)

  • 但是关于第3个业务问题,明显是计算错误的。它认为全部数据中的badcase仅有找出来的那4条。

03 总结与启发

总结与启发1

我们可以清楚地看到,不论是阿里析言、通义千问,还是智谱AI-数据分析智能体,要想通过自然语言,更好地完成【数据分析】相关业务需求,**需具备较强的【需求分析】、【任务规划】和【具体任务的执行能力】(工具调用,如“Python代码解释器”、“联网搜索”、“SQL查询”等),以及基本的【多轮对话】**能力。——多Agent引擎。

总结与启发2

基于“大模型”,实现“聊天机器人badcase标注”及准确率评估方案设计:

图4-2 借鉴多Agent引擎方案,构建AI大模型评估系统

五、全文总结

==============

1、本文系统调研了阿里的析言GBI产品,包括产品核心功能、产品实现逻辑、产品架构等高价值内容,可为设计类似产品提供方案和思路借鉴。

2、本文还以一个专门的数据分析业务需求(评估用户&机器人对话数据的质量)case,详细对比分析了阿里云析言通义千问智谱清言-数据分析这几个Agent的处理逻辑和效果;

3、目前本文调研&测试下来,有这样几点结论和心得👇🏻:

1)智谱清言-数据分析智能体能力,个人认为最强👍🏻(上下文窗口大、自主分析需求、自主规划方案并具体执行,完成全部用户需求);

2)通义千问2.5,做的也还不错,问题全部能回答完整(虽然回答有错误)。使用通义千问搭建的商业化GBI产品【析言】,从demo测试来看,提供的是个“水货”。——2B/G、2C “绝对”是两个团队在做;

3)借助大模型进行 【AI模型】效果评估和打分 或是 找一些数据中的badcase(帮忙标记badcase),验证是可行的_(其实这早在一年多前就已被验证,国内诸多大模型都是这么玩(蒸馏)来的)__——具体实践分享,可敬请期待本人公众号/后续直播分享_。

AI大模型学习福利

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

大模型&AI产品经理如何学习

求大家的点赞和收藏,我花2万买的大模型学习资料免费共享给你们,来看看有哪些东西。

1.学习路线图

在这里插入图片描述

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

2.视频教程

网上虽然也有很多的学习资源,但基本上都残缺不全的,这是我自己整理的大模型视频教程,上面路线图的每一个知识点,我都有配套的视频讲解。

在这里插入图片描述

在这里插入图片描述

(都打包成一块的了,不能一一展开,总共300多集)

因篇幅有限,仅展示部分资料,需要点击下方图片前往获取

3.技术文档和电子书

这里主要整理了大模型相关PDF书籍、行业报告、文档,有几百本,都是目前行业最新的。
在这里插入图片描述

4.LLM面试题和面经合集

这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。
在这里插入图片描述

👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值