AI 大模型赋能手机影像，小米14 Ultra 让真实有层次

2月22日，小米龙年第一场重磅发布会，正式发布专业影像旗舰小米14 Ultra。

此前小米发布的两代 Ultra，在不同维度，引领了移动影像行业的走向。最新的小米14 Ultra 在定义的时候，我们反复在思考：怎么才能把移动影像推向一个全新的层次？

为此，小米跟徕卡、用户、摄影师、专家学者做了大量的交流，最终确定小米14 Ultra 影像追求的目标：让真实有层次，要细节丰富，过渡细腻；要主次明确，远近分明，通过好的技术和审美，还原生活的丰富、从而直指人心。

当 AI 大模型与手机影像结合，会碰撞出什么火花？

为了让基于 AI 大模型实现的手机影像系统更符合小米的“光学味”，在结合小米14 Ultra 的设计理念下，我们层次性地去释放大模型的能力，给用户带来突破性的效果和使用体验。

这里，要和大家重点介绍小米首个 AI 大模型计算摄影平台 Xiaomi AISP，也是小米影像大脑的全新升级。Xiaomi AISP 是计算摄影的强力之作，它有哪些革命性升级？我们一起来看。

01 

Xiaomi AISP

首个 AI 大模型计算摄影平台

AI 大模型一经问世，便展现了其惊人的技术能力，各行各业都相继涌现出了利用 AI 大模型来推动技术变革的不同思路。小米相机团队也一直在思考，AI 大模型会给手机影像带来哪些变革？又如何将 AI 大模型技术更好地引入到手机影像系统里来？

经过不断地技术验证及效果评估，小米确定了开发基于 AI 大模型的 Xiaomi AISP 影像处理系统的目标，并在效果、算力、生成三个方面有了独家的见解和想法创新。

• 效果：在图像领域，AI 大模型最初被用来生成描述包含各式内容、具有指定风格的图像。但随着技术的迭代，生成图像的质量、真实性、分辨率越来越高，甚至达到了影棚级的效果。

  若将大模型用到相机影像系统的任务中，处理噪声、影调、人像等问题，效果是不是会更好？团队带着问题开始尝试和探索，认为在具备一定质量的图像输入的前提下，经过合适的调整和匹配，AI 大模型会得到相较于传统方法或者第一代 AI 技术更好的效果。

• 算力：算力，是将大模型应用到手机上、拍照影像系统里最大的问题。团队为了能将 AI 大模型应用到实时性要求非常高的手机相机影像系统中，在模型重构设计、模型求解优化（推理迭代）以及系统级管线管理及多硬件算法分配方面，投入了非常多的资源，也攻克了许多关键性的问题。

  通过重新设计、训练适合相机影像任务的小型化 AI 大模型，并基于小米澎湃 OS 和自研的异构加速平台，全面整合了 CPU、GPU、NPU 和 ISP 的平台算力（计算能力达到 60 TOPS），最终成功地实现了基于 AI 大模型的 ISP 系统解决了端侧、拍照模型运行的速度、功耗等问题。

• 生成：为了让基于 AI 大模型实现的相机影像系统更符合小米的“光学味”，在结合小米14 Ultra 的设计理念下，我们层次性地去释放大模型的能力。在基础的影像功能任务和场景，从多个维度相对保守的使用了 AI 大模型的生成能力，以保持大模型原有的优势；相反的，在超出光学和传感器物理极限的场景，我们会适当释放大模型的生成能力，以带来不一样的效果体验。

本次推出的14 Ultra 所使用的 Xiaomi AISP 平台便是通过对效果、算力、生成的创新思考，基于 Stable Diffusion 模型（图像处理领域的基础 AI 大模型）开发。

依据相机影像功能间的耦合程度以及相机功能特点，小米将 Xiaomi AISP 拆分成四类大模型，即融合光学大模型、影调大模型、色彩大模型及人像大模型，并且各个模型都经过了小型化、异构并行等加速处理，以符合手机端侧、拍照功能客观需求特点。

经过这四类大模型不同的组合方式并结合影像处理流程的其他模块，实现了基于 Xiaomi AISP 的全新的相机功能，接下来让我们展开介绍。

02

AI 超级变焦

恢复超高清远景瞬间

清晰地捕捉动人瞬间，不受拍摄距离远近的影响，留住想要记录的真实。小米首次将 AIGC 技术应用到计算摄影领域，带来了能精准预测“看到什么”、“想要呈现什么样”的影像，解决相机中长焦功能拍摄距离远，成片效果模糊不清，缺少真实性的问题，并利用先进的 Stable Diffusion 大模型将其生成为图片的 AI 超级变焦（Ultra Zoom）功能。

以往 AIGC 往往使用在如魔法消除等后处理功能中，而如今应用在实时出图的功能中，小米走在了前列。可以说，Ultra Zoom 是 AIGC 在影像领域应用的革命性创新。