打造属于未来AI时代的操作系统,对话荣耀终端产品线总裁方飞

信息技术大体经历了四个发展阶段。第一代是个人电脑时代,核心是Wintel联盟,即微软和英特尔的领先地位;到了互联网时代,即第二代信息技术,核心是搜索引擎和电子商务;第三代信息技术则是以移动操作系统和芯片为主导;大模型+手机智能体应用生态将为成为第四代信息技术的核心。这是中国厂商定义未来的智能体应用生态标准的绝好机会。

2016年,荣耀开启了AI OS的赛道,通过一代代的努力,用AI重构操作系统,今年10月,正式迎来了全新的MagicOS 9.0,这也是行业首家“卓越级”AI大模型能力的操作系统。

2020年11月,方飞正式担任荣耀终端有限公司产品线总裁。此后,荣耀成功重启了Magic系列手机,她积极推动AI技术在荣耀产品中的应用,特别是在AI PC领域,提出了三层AI使能的概念,即AI使能硬件设计和硬件系统、AI使能新的交互模式、AI使能应用场景,并在MagicOS 8.0集成了70亿参数的端侧大模型,大力推动了大模型在智能设备上的应用,平台级AI使能的意图识别人机交互,使得MagicOS在多模态交互方面取得了显著进展,包括语音、图像和文本等多种交互方式。

AI时代中,终端能给我们带来什么样的神奇体验,众人翘首以盼。MagicOS 9.0作为面向AI时代的下一代操作系统发布,彻底打破了安卓、iOS等传统操作系统固化的运行逻辑、交互逻辑,以AI内核,构建起了面向未来的全新生态。

MagicOS 9.0发布会现场,CSDN有幸对话荣耀终端有限公司产品线总裁方飞,探索MagicOS 9.0一路走来的产品历程,以及技术实现背后的故事。
在这里插入图片描述

操作系统的变革是智能生态演变的关键因素

Q:从UI到OS再到现在的AI OS,荣耀的操作系统演进过程中有几个关键点?

方飞:从业多年,我亲历了Android刚引入中国时的种种变革,在我看来,行业中有几个核心驱动力,而终端演进的重要驱动力之一是人机交互。人机交互的背后涉及几个关键要素:

  1. 计算能力:设备的CPU和整体计算能力决定了它能够处理什么样的数据和任务;
  2. 通信能力:信息传输技术的演进,如从4G到5G,极大地影响了数据传输的速度和效率;
  3. 操作系统:一个强大的操作系统是实现高效人机交互的基础。苹果的成功就是一个很好的例子,系统的变化不仅带来了交互方式的革新,也推动了整个生态系统的演变。

这些因素是相互交织、共同作用的。我们并不是为了做一个AI OS而做AI OS,而是因为我们认为,人机交互方式和终端创新需要做出改变。

目前行业迎来了一个新的周期,其牵引力是全新技术的到来。未来究竟需要一个什么样的交互?未来需要的是更自然、更智能的交互。AI的到来首先需要变革的是交互方式,而交互的核心在于操作系统(OS)。未来的OS必须通过AI进行重构。而我们的目标是打造一个智能代理(Agent),它能理解你的意图,帮助你完成任务,就像身边的助理或秘书一样。未来,甚至一个眼神就能传达指令,这是理想状态,也是OS演进的方向。

荣耀2016年起就开启了AI OS的赛道,过去主要是图形用户界面(GUI),下一步希望实现意图用户界面(IUI)和语音用户界面(VUI)。这些新的交互方式将更加智能和自然,更好地理解用户意图,提供无缝体验。这个过程需要对整个系统进行重构,这是构建AI OS的核心驱动力。未来两到三年内,行业将迎来巨大变革。

Q:各大厂商都有自己的智能体,荣耀YOYO智能体和其它手机智能体本质的差别是什么?它和MagicOS 是怎样的关系?

方飞:智能体是协助用户完成某项任务的智慧化工具。对荣耀而言,智能体就是AI OS的核心内核,如果说现在的手机只是工具,未来的手机就是一个超级AI智能体,了解你你的喜好,甚至是你的一个数字分身。荣耀YOYO智能体帮你完成很多你自己无暇顾及或者说你自己不太擅长的事情,它如影随形。我们认为智能体就是OS的核心部分,也是未来终端变革的核心。

在我们的操作系统中,有一个核心智能体的基座,这个基座基于 Magic Live 智慧引擎 进行持续演进。从最初的意图识别和场景感知,到如今更复杂的意图识别和任务拆解,Magic Live 已经经历了多个阶段的发展。在最新的 MagicOS 9.0 中,搭载这一系统的 荣耀Magic7系列 终端的智能化水平达到了 L3 级别,能够实现从任务拆解到任务执行的完整闭环。这一内核将继续演进,最终成为我们 AI OS 的核心内核。

手机“自动驾驶”是如何实现的?

Q:荣耀AI智能体的底层技术除了大模型之外还有哪些?如果使用了多个类型的模型,其调取、执行和协同怎么实现?

方飞:我们使用了多种基座大模型,包括语言、语音、图像和多模态模型。例如,语言输入可能用到自然语言模型,用于基础的语言理解;图像处理可能涉及图形理解,包括屏幕上的内容;多模态理解则综合了多种信息源。AI Agent 不断地理解用户,这种“理解”不仅仅是语言理解,还包括图形理解和多模态理解。在发布会上展示的强大图片处理能力,比如一句话修图,实际上是通过组合调用后端应用、服务和功能实现的。

对终端厂商来说,最大的挑战是如何高效调用这些模型,确保功耗和性能达到最优。这正是终端厂商的优势所在。我们长期从事底层硬件和软件开发,包括芯片调校和基础内核相关内容,如CPU、内存和DDR的调校和性能优化技术,这些都是我们的强项。大模型的到来,不仅仅依赖于服务器的数量,更需要对端侧有深入的研究和开发。这为我们提供了巨大的机会。

Q:荣耀MagicOS 通过AI重构系统,并强调以用户为中心的AI决策需要深入理解用户的使用习惯。在MagicOS 9.0上,荣耀是如何构建个人知识库的?

方飞:在此之前荣耀MagicOS 已有个人知识库的雏形,主要侧重于场景感知,例如在登机口自动弹出登机牌、出租车到达时提醒等简单的主动提醒。有了大模型后,系统可以学习更多关于“你”的内容,包括图库、日程、短信等。去年发布的大模型已经在学习用户的图库,进行分类和整理,利用充电和空闲时间学习手机上的各种内容。这些学习过程使用了多种模型,生成的数据通过大模型的能力进行融合理解、语义索引、分层组织和深度挖掘推理。结合端侧RAG(检索增强生成)能力,这些知识被汇聚成个人知识库。从最初的几百个因子,现在已积累到950项个人因子,涵盖个人及关系信息,如家属关系等。
大模型的到来为我们提供了完善个人知识库的机会。这个知识库作为智能体的“外脑”,通过组合使用,能够特别贴心地执行任务。在快速构建个人知识库的过程中,我们严格遵循隐私保护原则,主要在端侧进行处理,并可以同步到不同设备上。每个设备上的行为习惯不同,例如PC侧重办公,手表侧重运动健康。这些设备通过端侧快速同步和共享,形成一个全方位了解你的“超级终端”,覆盖家居、运动健康、车型、办公等多个场景。

Q:个人知识库越来越大,会影响AI OS的流畅度吗?

方飞:个人知识库分为长期记忆和短期记忆两部分。长期记忆类似于人的固定信息,例如“我的儿子4岁,长什么样子”等,这些信息是长期存储的。短期记忆则是临时的,可能只保留15天或30天,因为这些信息在一段时间后就不再有用,例如之前打开某个应用的行为操作。用户自己也可能记不住这些短期信息,因此我们在设计AI智能体时,让它具备类似人类的记忆特性,包括遗忘性。并不是所有数据都需要永久保存,我们在最初设计产品时,就确定了这一逻辑。

Q:研发团队技术实现难度是在哪里?

方飞:意图识别看似简单,但在与大模型和个人知识库交互时,难点在于真实意图的理解,这部分很容易出错。
任务分解和执行也非常关键。模型能力和团队的调教能力密切相关,能否将任务分解清楚,确定任务之间的关联,最终将任务分发给内部的多个Agent。执行时,需要结合操作界面的视觉技术,这是一个综合结果的呈现,需要突破多个技术点。
尽管通用大模型具备任务拆解能力,但在实际工业场景中,通用模型的准确率通常在60%-70%,这在商用时远远不够。达到95%以上的准确率,才能提供良好的用户体验。为此,我们需要大量场景数据的构造和微调优化。
另外,如何在模型性能、参数规模、准确率和端上执行效率之间取得平衡,是终端厂商需要引领行业突破的关键点。

Q:面对多个AI场景,是通过怎样的决策路径来确定MagicOS 具体的AI功能?

方飞:去年发布的MagicOS 8.0中,我们推出了一个70亿参数的端侧大模型,但实际使用频率并不高,尽管最初的设计很好。早在荣耀成立之初,我们就启动了“奥德赛1.0”项目,联合内部多个部门,探讨如何构建以平台化AI为核心的服务模式,以及如何构建场景与能力。年前,我们在南京召开了一次研讨会,成立了“奥德赛2.0”项目。该项目旨在围绕大模型为用户带来哪些具体场景,以及如何设计端云结合的AI技术架构。这次研讨会非常高效地达成了共识,明确了我们要聚焦的场景和目标。

在AI时代,关键不在于做怎样的AI技术,而在于创造什么样的场景,真正帮助消费者解决问题。

做产品一直是一个系统化的过程。最终呈现的是一个完整的系统,但这背后是核心技术的不断演进。荣耀的产品采用双轮驱动策略:一方面是对用户需求、用户体验和消费市场趋势的极致把握,另一方面是对技术趋势和技术创新的不断追求。双轮驱动在一起,会产生非常高效的化学反应。

坚守隐私保护五项设计原则

Q:现在AI的发展特别快,AI的治理一直是大众关注的点,荣耀在这方面的策略是?

方飞:我们特别关注用户的隐私,遵循五项设计原则:最小化、透明可控、身份匿名、优先端侧处理、安全保护。
此外,专门针对AI开发制定了PFAST原则:尊重用户隐私(Privacy)、公平与公正(Fairness and Justice)、可归责(Accountability)、安全与可靠性(Security and Reliability)、透明度和可控性(Transparency and Controllability)。这些原则特别强调个人数据和隐私的保护。

此外荣耀构建的许多核心能力,包括个人知识库,都仅在端侧处理,不会上传到云端。虽然系统对你非常了解,但所有数据都存储在手机上,你可以编辑和查看系统学到的内容,确保透明化和可控性,避免用户感到恐慌。在演示视频中,当系统读取屏幕内容时,会高亮提示,告知用户这一操作,并允许用户进行控制。我们确保个人数据保护完全以用户意愿为基础,充分透明,展示整个过程。

在AI开发中严格遵循PFAST五大原则。荣耀秉持“科技有道,隐私至上”的理念,贯穿业务始终,绝不突破这一底线。此外我们有一套细致的安全管理细则,由专门的治理部门监督,每个部门定期自查,如有问题将严厉处罚,目前未发生过任何隐私安全事件,已通过一系列国际权威隐私安全认证,确保用户可以放心使用。

Q:荣耀在使用谷歌云进行照片AI消除时,由于国内应用无法直接连接谷歌云服务,整个过程在云侧处理速度较慢。荣耀是如何解决这一问题的?数据是否会上传到谷歌云?

方飞:在国内,荣耀手机的消除功能使用的是国内服务器,与谷歌无关。只有在海外发行的产品上,才会与谷歌云合作,使用其消除功能。这两者是分开的。

在国内,谷歌云无法提供服务,我们主要与腾讯云和天翼云合作。基础的编译服务器等方面已有合作,目前的消除方案是基于这些基础设施和我们自己的解决方案实现的。消除功能在云端完成,与其它厂商类似,谷歌也有类似的云端消除功能。
我们有一套严格的隐私机制,确保个人化隐私数据不上云,消除完后立即删除,云端不存储任何数据。使用前会有提示告知使用须知,但即使你没看到提示,也不会侵犯隐私。

在与各种云基础设施厂商合作时,荣耀始终坚持合规合法。海外市场上,三星和谷歌云的合作非常深入,推出了许多新功能,如Circle to Search。我们在快速追赶和补齐这些功能,因此与谷歌云的合作也非常深入。

从L3跃升到L4,MagicOS还需几步?

Q:在信通院智能化分级的研究报告显示,MagicOS的Magic7系列能达到L3的级别,您认为现在整个行业目前的平均水平在这个报告里是怎么体现的?未来如何向L4级别发展,荣耀的战略规划、技术规划是怎么样的?

方飞:荣耀智能终端的分级已通过信通院认证,L3是目前行业最高的智慧化等级。在海外发布会上,我们介绍了大模型未来发展的几个阶段:智能响应级、智能辅助级、智能助理级、智能协同级和自主智能级。

L4级别的智能体不仅能执行复杂任务,还能分析用户的潜在需求,提前完成任务,真正成为用户的伙伴。随着模型的升级,推理能力和理解精度将进一步提升,实现更深层次的协同。我们正在加速这一领域的建设,不仅优化模型框架和基础模型,还提升意图中控、任务分解和执行的核心能力。这是一个综合的能力建设过程,涉及众多技术细节,容易出现各种问题,如智能体不听话或产生AI幻觉。智能体需要具备反思能力,能够根据反馈调整策略,而不是机械地按既定逻辑执行,这是从L3到L4跃升的关键点。

未来我们希望用户可以随意提出需求,智能体都能快速完成。下一步目标是实现自由交互,用户说出需求即可快速完成任务。我们希望在明年达成这一目标,使智能体能够批量实现多种任务,而不仅仅是单个场景。

Q:要达到荣耀的操作系统未来布局,还需要突破哪些点?

方飞:如今荣耀的智能体,旨在为用户提供快速的闭环体验。如果仅依赖生态对接来实现跨应用自动执行,会非常受限。我们希望智能体不受限于生态本身,能够快速响应用户需求,提供闭环体验。
荣耀AI Agent 可以视为UI Agent,模拟用户操作手机,目前已经迈出了一大步。这涉及多项综合技术,包括意图识别和任务分解,最终实现自动执行。最初想到Agent,是因为老年人使用手机时常常遇到困难,不知道如何设置权限或取消某些内容,这是一个社会性难题。发布后,许多年轻人也非常喜欢。我们希望通过最直接的技术手段,快速改善用户体验,而不仅仅是依赖APP接入等方式。

Q:生态是操作系统非常重要的部分,荣耀的智能生态建设发展到了哪个节点?哪种模式会更快达成目标?

方飞:未来,我们不会局限于单一的体验方式。荣耀将构建一个开放的智能体平台,与众多优秀的互联网合作伙伴共同构建生态。伙伴们可以基于智能体的核心技术和接口快速接入平台,提供更多优秀体验。同时,我们也在推进另一个方向:荣耀的智能体不受限于APP接口,可以独立操作,提供手机上的“自动驾驶”体验。这一方向也在快速发展,尽管有些厂家也在演示类似内容,但荣耀的独特之处在于完全独立的操作能力。

生态建设双向并进

Q:荣耀在其他产品线与AI的结合方面有哪些规划?

方飞:荣耀的生态建设分为纵向和横向两个方向。纵向方向上,我们不断演进和探索,以手机为中心的端侧AI和Magic Live核心引擎为基础,衍生出更多设备,如PC、平板和手表。横向方向上,我们通过荣耀信任环技术实现无缝连接和无痕体验。信任环技术能够自动发现和自组网,无论用户在哪一个设备上,服务都会自动流转到该设备。

三年前,我们与行业一起定义了“无缝连接、无痕体验”的生态目标。每年信任环都在升级,今年我们推出了与大屏的互动,如在电视上安装手机APP,通过信任环让手机和大屏电视形成一体,盘活了电视的生态体系。类似的功能也在PC上实现,如手机点击时大屏同步显示。

年初发布了首款AI PC MagicBook Pro 16,这是AI能力赋能PC的一次实践。在其他产品上也采用了类似的纵向建设思路,基于Magic Live平台级AI内核,构建更场景化的服务。例如,PC上的YOYO建议、文档总结、全局搜索、图片搜索和AI字幕等功能,已经围绕多种工作场景提供了智能服务。

荣耀平板在护眼方面的优势广为人知,但在AI方面,我们也与手机进行了拉通建设。最近,我们计划在平板上布局AI教育。正在建设适合孩子的AI教育场景,包括手写笔与教育内容的配合、教育空间的整体管理以及与手机的协同。

通过在手机上对消费者的理解,结合穿戴设备和运动健康APP的数据积累,我们提供了AI跑步助手和AI减脂计划等功能。这些功能根据用户的饮食习惯、体重和健康状况,智慧化推荐个性化的减脂方案。

这一套体系化的建设思路,一纵一横,是荣耀长期的战略。虽然过程中可能会遇到困难,但我们的理念始终不变。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CSDN资讯

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值