技术的车轮滚滚向前,但用户的需求却相对稳定。不管是初创公司还是大厂,如果在新技术范式吹起来的这股风停下来之前,没能及时找到有希望的落地方向(能满足用户真实需求+有市场机会),风一停,就会跌落进泥土里,消失在空中;而如果落地应用难做起来的话,那些想在淘金热里靠卖铲子赚钱的业务,也不过是短暂的捞快钱,终将随之枯萎。
我的草稿箱中一直有一篇关于LLM产品落地的文章,躺了很久,但迟迟成不出稿,因为确实很难写好。一方面如果是简单罗列各种LLM赋能的场景,容易显得杂碎和混乱,且当中很多应用都是锦上添花,非核心;另一方面,少数已经取得落地突破的,由于涉及商业机密,实际业务数据细节能在公开渠道披露的也极其有限。不过基本可以判断,LLM的优势应用领域大概率是知识密集型且专家资源受限的领域,如教育、医疗、法律等,因为这些领域由于现实问题复杂多样、或对交付质量要求很高,原有的技术解决得不够好,目前基本还是依靠人类专家,标准化程度不高,LLM即使不能完全取代专家,仍可以通过将标准化程度再提高一些,减少较低端重复的部分工作(如信息预加工),创造出经济效益。
斯坦福《Tutor CoPilot: A Human-AI Approach for Scaling Real-Time Expertise》这篇论文,给我们提供了一个很好的示例–LLM技术如何在实际教育场景中孵化成产品落地。
Tutor CoPilot通过生成辅导者可以立即应用的可操作指导来提高K-12教育的质量,解决辅导者的实际需求,并改善学生的实时学习体验。经2个月测试,实验组学生对数学科目的掌握率高出4个百分点(p<0.01)。且低评价老师的学生从中受益最大,掌握率提高了9个百分点。根据研究期间老师的使用情况,Tutor CoPilot的成本仅为每位老师每年20美元。作者使用分类器分析了55万条以上的消息,发现有Tutor CoPilot访问权限的老师更有可能使用促进学生理解的策略(例如,提出引导性问题),而不太可能直接告诉学生答案,这与高质量的教学实践相一致。
Tutor CoPilot的系统架构如上图所示。Tutor CoPilot直接集成到辅导会话中以支持实时互动。当前设置将Tutor CoPilot嵌入到一个虚拟辅导平台中,该平台具有问题显示、共享白板和聊天窗口。新增了一个Tutor CoPilot按钮,允许辅导员在会话中轻松激活它,以获得实时辅助,无缝融入工作流程。
一旦激活,Tutor CoPilot会从正在进行的互动中提取相关信息,例如对话上下文、课程主题和请求的策略。目前,对话上下文基于聊天互动,但系统是灵活的,可以通过处理语音或视觉输入(如白板活动)适应面对面辅导。为确保用户安全和隐私,我们使用Edu-ConvoKit(Wang和Demszky,2024)自动从名册数据库中检索的学生和辅导员姓名进行去标识化处理,使用占位符“[STUDENT]”和“[TUTOR]”。此外,在使用外部LM服务(如OpenAI)时,限制共享的对话上下文为最近的10条消息,以最小化数据暴露。
根据去标识化的对话、课程主题和选择的策略(例如,“提供提示”)生成类似专家的建议。这种方法减轻了辅导员的认知负担,避免自己去想如何提示激发模型,而更专注于提供高质量的指导。
辅导员可以通过编辑建议、重新生成或选择不同的策略来个性化生成的指导。可用策略包括提供解决方案、工作示例、小修正、类似问题、简化问题、肯定正确答案和鼓励学生(如表1所示)。选择新策略会更新响应框中的建议。与通常只提供单一响应的自动完成系统不同,Tutor CoPilot根据不同的策略提供多种建议,以保持质量,同时在有效解决学生需求时保持辅导员的自主权。
由于本文侧重产品和应用,最有代表性的内容已经介绍完毕,关于论文中其他部分,如实验设计和效果评估等,感兴趣的读者可以从附录链接去细读,这里不再赘述。
我们接下来主要以Tutor Copilot为引子,继续探讨LLM在教育领域可以有哪些落地应用以及其中的难点。
根据结构化思维,我们划分为学习前-学习中-学习后三个阶段,分别讨论。
1、学习前
1.1 获客
主要侧重于各渠道推广和获客。当前各家广告平台都在支持生成式AI提高物料投放效率,降低广告主投放物料的生产成本,如广告文案、创意素材生成等,但这种提效本质不会给广告主带来太多收入,因为大家都能用,没有实际门槛和竞争力。
1.2 转化
线上投放物料后,一般会带有咨询入口,用户通过各种渠道进入这个咨询入口,是全链路中非常关键的一环,因为这个环节直接跟企业的收入挂钩。可通过LLM能力实现智能客服/销售的对话功能,提高线索的转化效率。
这其实就是领域Agent的应用。好一点的企业会将领域知识(公司、产品、服务等)、销售话术、各种情况下的SOP等,都沉淀为数字资产,流程标准化然后用于培训人来做,保证了人工作质量的下限。但随着领域知识的更新、人员的更替,培训人适应新工作内容的过程仍然是不低的成本。而让Agent来替换掉大量基础客服/销售,就可以将精力更多放在如何将金牌销售脑子中的那些“套路”总结并形式化建模出来,让Agent也具备这样的能力,不断优化提高服务质量的下限,从而提高转化效率(24小时实时响应+高效转化漏斗)。
2、学习中
上面介绍的斯坦福的Tutor Copilot就是作用在“学习中”这一环节。论文已经用比较严谨的因果分析证明了Tutor Copilot对教育质量的提升是明显有帮助的。
这一环节是最重要的没有之一,毕竟用户花钱了最关注学习效果,效果不行别的直接一票否决。
而教培行业,最核心的资源就是好的讲师。因为好的老师经过多年实践磨练,会根据不同学生容易犯的错误、学习风格、学习目标和互动反应,调整自己的指导/教学策略,所以教学效果会很显著。而他们不少套路,是在市面上的教材、教辅里面找不到的,自然也就很难通过学生的自学领悟。正因为现实情况复杂,因此教育领域好老师在哪,资源就在哪,反之亦然。真正靠机器自动化,是非常难的,但一旦做出来了,也是颠覆性的。
我们不妨想想除了除了Copilot人机辅助的方式,如果要做教育的Agent,甚至是智能教师,技术上可以怎么做,这是块硬骨头。我们从讲题这个应用切入,思路不难想到,就是对比好的老师与不好的老师相比都有什么特点,然后把这些特点形式化建模出来,让LLM具备类似的能力。
最基本的,我们把题解过程作为COT,引导模型思考,并产生正确答案。
不妨看好未来的MathGPT的一个示例:
如果能实现这个功能,那基本已经能替换掉市面上大部分初级段位的老师了,因为很多水平一般的老师讲题时也是基本照着答案念。当然,这种老师教学效果不会太好,因为念答案不仅容易让人走神,也没有额外信息赠益,跟学生看教辅题解自学差不多。
小编高中物理老师教的几个班,物理成绩稳居年级前列。有一说一,教得确实好,基本上是每个学生早上没睡醒听她两节课都能直接清醒起来,节奏非常紧凑,内容强度也大,听她一节课效率高过自学好几天,听完作业基本都会做,不用背题,考试也能举一反三,直到今天都让我印象深刻。所以我以她为原型,再抽象出几个可以建模进Agent能力的点,技术上不一定好实现,但如果让我来做的话,我会考虑从这几个角度提高Agent的教学效果。
(1)含金量超高的结构化知识笔记,不废话高度简化,不少笔记点本身就是一道典型题,重点易错部分还会标红强调(不仅是后台知识库,还需要有产品功能将知识网络在恰当的时机让学生能看到);
(2)典型题变形,强化印象,再归纳对比异同(题目和知识点之间的知识网络);
(3)金句段子加强易错点记忆。对于学生常见典型错误,即使学生当下没犯,她也会及时点出来,说明原因并通过一些金句加强学生记忆。如当时受力分析场景,她就有句名言“A对B做什么,B就要对A做什么”,让学生及时把相互作用力标上,避免后面忘记;
(4)及时总结小妙招。市面上的教辅为了严谨性,很多解法都中规中矩,但对于一些选择题和判断题,真按教辅的思路去解黄花菜都凉了,厉害的老师会总结出一些快速判断的小技巧,让学生的解题速度有质的提升,避免后面的应用题没时间完成;
(5)结合学生个性化信息,包括历史易犯错误等,让Agent的指导更有针对性。
3、学习后
这部分更多是对公司而言如何持续提高自己的服务质量。
包括学生前后对比报告智能总结,后续续费继续学习的引导话术,以及老带新等策略;
另一方面是根据学生学习过程中发现的问题,数据闭环,迭代老师的教学策略和Agent的反馈更新。
后话
虽说国家已经打压了K12课外培训机构,但若技术和商业的探索不会让阶级固化,应该还是值得鼓励的。借助技术标准化带来的低边际成本,完全可以将优质的教学服务下沉到三四线城市甚至边远山区,让更多的孩子享受到更好更公平的教育。一边是少数家庭才能承担的有限且昂贵的优质教学资源,另一边是客单价较低但拥有更大的用户基数,后者可能赚钱上会更辛苦些,但想象空间还是很大的,不论是ToB(学校/机构合作,用于辅助培训新老师或辅导学生)还是ToC(学生或家长,app/网站/功能内置到各种智能硬件如学习机中)的模式。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。