随着数字技术的飞速发展,人工智能成为炙手可热的新赛道,尤其是OpenAI生成式人工智能的成功必将推动行业抵达“奇点”时刻。
进入2024年,其推出的文生视频大模型Sora无疑成为了AI领域的一个新亮点。Sora不仅仅是一个工具,更是一种新的生产方式。它对我们的影响不仅仅体现在就业方面,应该会对整个经济层面产生一定的影响。
本文章通过什么是sora 入手,介绍其生成视频原理,通过普及Sora常识之后引导读者了解金融领域的转型历程及Sora 等人工智能在金融领域应用的畅想。
1. 什么是Sora
Sora 是openAI 团队发布的一款人工智能模型,他能够根据用户提供的文本描述生成视频内容(Text to video= 文字生成视频),于2024年2月15日(美国当地时间)正式对外发布。
2. Sora 生成视频原理
Sora是在openAI的文本到图像生成模型DALL-基础上开发而成,但OpenAI并未单纯将其视为视频模型,而是作为“世界模拟器”,该模型解析了这些物体在物理世界中的存在方式,可以深度模拟真实物理世界,能生成具有多个角色、包含特定运动的复杂场景,从下面Sora工作原理图可以看到,它能实现文生视频,图生视频,图+文生视频,视频修改,视频转绘,视频延申,视频补全等功能。
Sora 工作原理图
(图片来自网络)
3. 近期金融领域转型历程
对Sora及其原理有了初步认识后,我们将讨论一下,Sora为代表的视频生成AI 工具在金融领域的应用及面临的挑战,笔者认为,Sora 等GenerateAI技术会促进行业新一轮变革。正如互联网促使金融行业从传统金融向数字化金融转型一样,预计会掀起新一波转型浪潮。以下是不久前的发展历程以及未来的转型趋势:
-
数字化金融转型(2011年):
-
产品/服务数字化、网络化、智能化。
-
金融营销模式数字化。
-
风控模式数字化。
-
人工智能在金融领域的应用(2020-未来):
-
人工智能与传统金融业务深度融合,解决了金融机构面临的供给不足、门槛高、信息不对称、风险评估难等问题。
-
在市场营销、产品设计、风险管控、客户服务等方面,人工智能的应用实现了智能营销、智能识别、智能投顾、智能风控和智能客服,提升了服务实体经济的效率和能力。
-
2023年,金融机构开始布局AI转型(AI Transformation),因为他们充分意识到Sora 等文生图工具在相关业务场景中会起到的作用和业务价值。
4. 金融领域的应用假设
无论是通用领域还是垂直领域,大量的AI应用的涌现,意味着人类正在由信息时代迈进智能时代 。从通用领域的应用出发,可以对其在金融领域的应用进行假设:
-
银行的业务和产品的个性化介绍。
-
优化内部培训,提升员工专业能力,通过通用应用提升内部培训成本和效益;将种类繁多,流程复杂的银行业业务流程、产品知识以更加直观、生动的方式呈现给员工,帮助员工更好地理解和掌握。
-
大段文字的产品介绍往往会给客户带来不小的困扰。将来,无论是产品介绍、操作流程演示,还是个性化理财建议,都可以通过视频形式呈现,使客户更加易于理解和接受。
-
未来,数据质量将成为金融领域准确决策的依据。在数据收集、分析和金融新产品设计的过程中运用通用人工智能,能够输出更高质量的讲解内容,进而直观地为客户带来更加丰富的视觉体验。
-
帮助金融从业人员进行知识的筛选和提炼。
-
能成为为金融销售人员的辅助工具。当前,金融销售人员面临着庞大且复杂的市场,如何精准把握客户需求,提供契合需求的金融产品,是他们需要解决的重要问题。Sora的出现,能够通过视频交互,帮助智能化分析客户的需求、偏好、风险承受能力等信息,进而了解客户的真实需求与偏好,实现为客户精准提供符合其需求的金融产品。
-
在广告营销和客户服务领域实现降本增效以及服务提升,进一步优化客户体验,助力拓展客户、激活客户并增强客户黏性。
5. 金融领域可尝试的应用场景
在金融领域,Sora 和类似的文生图工具可能带来以下应用场景:
-
广告营销和客户服务:
-
Sora 可以创作逼真的视频,降低广告制作成本,提高广告效果。
-
在客户服务方面,Sora 可以改善客户体验,为用户提供更优质的服务。
-
智能金融机器人:
-
基于 Sora 底层技术,智能金融机器人可以实现高度真实的人机交互,准确理解客户需求,提供个性化服务。
-
这有望改善柜台服务,增添人性化的风景。
-
智能影像管理:
-
Sora 可赋能智能影像管理系统,实现图像管理全流程智能化。
-
在医疗保险领域,它可以智能质检病历、影像,甄别虚假理赔;在银行领域,可以验证票据、合同真实性,提高服务和运营效率。
-
数据资源优化:
-
Sora 的应用需要大量数据支持,中国拥有庞大的人口和成熟的移动服务市场,为数字金融的发展提供强大的基础。
-
优化数据品质、扩展数据规模、促进数据流通,有助于发掘数据价值,推动智能金融创新。
-
智能金融监管创新:
-
在智能金融领域,监管创新至关重要。建立智能金融技术审核认证制度、智能金融风险分析和监测系统,有效防范风险。
-
同时,要保护数据安全,确保AI信任和安全。
-
金融行业可以尝试如下场景的应用
-
缩短制作周期,提升人员产能、降低来回沟通成本、减少手动流程。
-
促进金融领域科技人员从DevOps逐步变成AutoDev场景。
-
生物识别 (声音、视频、指纹)进行认证和授权。
-
人形机器人在银行为客户服务。
-
人员招聘:候选人先跟机器人面试,根据候选人表现调整个性化的面试和笔试流程,筛查出来的候选人再进入人工流程,减少人工支出,提升工作效率。
-
智能客服:个性化视频对话生成,通过定制化,个性化客户服务的流程做到客户最佳体验,提供自然的交互体验,在文生文技术发达和机器学习帮助下,智能客服将变得更专业。
-
现有的视频成果交付基于需求调研与需求设计、测试之后呈现出最终的作品。然而,Sora等文生图人工智能工具使得需求工程价值交付活动的起点和终点,将逐步成为研发中最为重要关键的部分,使各角色间协同的边界不再固定。
-
实现多场景、多角色的交互,其中角色从单一走向多元(单角色→ 多角色),场景从点扩展到面(单场景→全场景),关系从单向转变为双向,从使用AI发展为协同AI。
6. Sora等人工智能在金融行业的挑战与机遇
任何新技术的出现都是机遇与风险并生,Sora此类应用也不例外。好处已介绍,但是它在技术、数据安全、法律等方面都面临不小的风险,银行需要谨慎把握。具体表现在如下几点:
-
训练:类Sora应用的输出结果受训练数据影响。
-
偏差:其可能存在的文化偏见或刻板印象等问题需要银行等金融机构注意避免。
-
法律:金融机构在在利用类Sora应用处理数据时,需要遵循相关法律法规,加强网络安全防护,确保用户隐私不受侵犯,并通过加密技术、匿名化处理等手段降低数据泄露的风险。
-
内容:金融业中涉及视频内容生产的环节影响范围的界定。
-
监管:所有AIGC应用toC端均需要报备,周期长。
-
幻觉:业务应用怎么和大模型的幻觉共存是个永恒的话题。
-
算力:算力很稀缺,每个公司自研发大模型难度很大,不仅缺卡还缺数据。
-
性能:大模型的相应时长相对来说较长,会限制使用场景。
7. 金融行业AI垂直领域的应用畅想
科技是助力社会发展、提升产业效率的,在未来,相信通用大模型扩展到垂直模型(垂类模型),金融机构会推出其垂直领域的AI场景的产品和服务,对未来垂直领域的应用和畅想:
-
扩散模型的上限比想象中的高。
-
全局一致性可以被解决。
-
文字生成3D或将来突破。
-
AR,VR,VisionR 新应用潜力。
-
大语言模型(large language model) 和可视化大模型(visual language model )合成应用将创造无限的金融商业应用。
-
自我意识(Memory stream) 自我矫正能力( self reflection)各种模型混合而成应用场景层出不穷。
-
重塑客服等可替代性较弱的岗位将根据人工智能重新定义和出现新的应用。
-
启动内容生产方式和人机交互方式的变革。
-
出现人+数据+场景的各种应用。
总结
总的来看,笔者认为,Sora 等人工智能应用于金融行业时面临诸多挑战和困难。随着时间的推移,金融人员会经历从恐惧到拥抱的转变;在生产力、生产关系以及生产方式的作用下,人工智能未来的发展呈现出必然的趋势,在数据治理政策、硬件、人力、组合等因素影响下,挑战与机遇并存;同样,金融领域在应用场景上的创新与模型上的突破同等重要,金融领域应用上的突破将成为下一个发展风口。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。