ChatGPT的推出引爆了一场波及全球科技领域的“AI飓风”,越来越多的企业入局大模型赛道,推动AI全面迈进应用时代。在2023[数据安全]发展大会上,每日互动创始人、CEO方毅谈及大模型,他表示,大模型的能力令人震撼,“吃”的是数据,“吐”的是智能。通过与行业知识结合,大模型能从海量的数据中提取出有价值的信息,为业务决策提供智能支持,但现阶段大模型缺乏对价值观的判断。在实际的业务场景中,垂直行业更需要“可控大模型”。
垂直行业更需要可控大模型
当下,大模型正在不断精进,以GPT-4、文心一言为代表的大模型(LLM)表现出了强大的逻辑推理能力,并能够很好地处理复杂任务,使得社会生产力得到了飞跃式提升。
面对大模型热度的持续狂飙,很多企业跃跃欲试,希望在发展和应用大模型的道路上抢占先机。然而在实际落地大模型的过程中,企业发现目前的大模型多是通用大模型(GLM),这些通用大模型未经过相应专业领域知识的系统性训练和学习,无法很好地满足垂直领域的专业需求;而如果考虑结合所在行业的细分需求、专业Know-How进行大模型的精调,则要花费高昂的算力成本,也需要足够优质的“算料”,也就是数据的“投喂”。此外,这些数据在流转过程中的合规安全问题,也是企业进行大模型应用过程中需要关注的重要因素。
综上,每日互动率先提出垂直行业更需要可控大模型。具体而言,大模型的可控体现在算力、算法、算料等三个方面:**一是在“算力”上实现成本可控。**相信随着云计算、芯片等技术的不断突破以及一些大模型走向开源,未来企业接入和使用大模型所需要的成本将越来越可控。**二是在“算法”上要应用可控,即大模型的应用场景和计算输出结果要可管、可控、可计量。**未来在足够的算力和算料支撑下,大模型的能力将进化到更高的水平,行业需要确保大模型做出的决策保持公平和善意。**三是在“算料”上要安全可控。**算料即数据,当下对每个企业来讲,数据要素都具有非常重要的战略意义。如何在数据流转和处理链路上,真正做到安全、可控,更好地保护个人隐私?这是当下大模型发展需要重视和解决的命题。
推动大模型实现安全可控
作为一家数据智能企业,每日互动更多的是推动大模型在“算法”和“算料”这两个层面实现可控。每日互动首倡[大数据]联合计算模式,并积极参与中国(温州)数安港建设,推动大模型在算法应用和数据安全层面实现可控。数安港打造的大数据联合计算平台,为垂直行业进行大模型的训练提供了安全可控的闭环[容器]
首先,在数据安全层面,平台实现了**“数据不流转而数据价值流转”“数据可用不可拥”,使各方数据得以在一个具有公信力的中立安全环境中进行融合计算,共同参与大模型的训练和调优。其次,大数据联合计算平台采用“三审核、三隔离”**的方式,会对数据处理逻辑算法、输出结果、应用场景等进行严格审核,实现了大模型在算法应用场景和计算结果上的可控。
每日互动的可控大模型探索
在推动大模型实现可控的前提下,每日互动也积极探索将大模型与自身数智能力结合,帮助垂直领域客户更好地解决具体的业务问题。
每日互动积累了海量的数据资源和深厚的行业经验,在算法建模、图像视觉、机器学习等前沿技术领域持续深耕。每日互动通过充分释放“算料”价值,输出“算法”经验,辅助垂直行业客户定制化训练专属自身的垂直大模型,更好地发挥大模型的能力以针对性解决具体的业务场景问题。
为助力垂直行业客户的数字化转型升级,每日互动打造了数据智能操作系统DiOS(Data Intelligence Operating System)。DiOS承担着**“让数好用,把数用好”的使命,致力于帮助行业客户更高效地管理和使用数据。目前,每日互动也在尝试将大模型融入到DiOS产品中,推进研发DiOS智能助手**。通过接入开源大模型,并进行私有化部署和专门调优,每日互动将公司在治数、用数方面的经验和能力以及元数据等输入给大模型学习,推动大模型进化成为一个数据治理、加工和应用方面的超级专家,以DiOS智能助手的形态为客户服务。
类似ChatGPT的交互方式,未来行业客户可以用自然语言对话的方式,与DiOS智能助手进行互动。“我想了解本月公司的App在浙江的活跃情况,请帮我写段分析代码”“请帮我圈选出周边游偏好人群”“我要做公司快消类目商品的销售业绩分析,用哪些数据分析模板比较合适”……每日互动希望通过大模型能力的应用,变革数据治理和应用的范式,让更多的行业客户和中小企业能够极其便捷地挖掘数据价值,实现数智普惠。
在商业服务领域,每日互动正在探索通过大模型解决投放人群和创意素材精准匹配的难题,帮助品牌广告主和互联网企业实现更有效的广告投放及用户触达。在品牌营销场景,每日互动正在打造“智选人群”功能,帮助营销人员基于广告文案和商品特性找到对应的TA人群。借助大模型对文本语义的学习和理解,每日互动帮助营销人员提取出商品和广告文案的内容特征,并智能预测出高购买潜力人群,进行定向触达,从而提升广告投放效果。
此外,每日互动也在探索应用大模型等前沿技术以促进内部生产经营效率提升的创新方案,比如结合语言链、RPA(机器人流程自动化)等技术,将以往需要大量人工操作以及复杂流程才能实现的诸多环节进行自动化,并在积累一定规模知识之后,逐步实现业务流程的智能化,让员工得以更加专注于高层次的工作,进一步释放内部生产力。
对于大模型,每日互动CTO叶新江做过一个非常形象的比喻,“大模型相当于一个全新的大脑,输出中枢能力,但它需要手和脚,才能和环境互动、反馈和优化,并完成各种具体的动作”。
每日互动自身的核心业务逻辑就是“DMP(Data-Machine-People)”,构成“数据积累-数据治理-数据应用”的业务闭环。每日互动正是基于DMP的闭环路径开展可控大模型的行业落地实践,把大模型“大脑”的能力输出给各行各业使用,并结合行业客户的应用反馈持续进行大模型的训练迭代。我们期待和行业伙伴们携手,在安全可控的前提下,更好地应用大模型,推动产业发展和社会进步。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。