夺冠丨夜枭算法拿下CVPR夜景渲染双冠军

近日，小米夜枭算法团队在誉为“影像算法奥林匹克”的CVPR NTIRE2022 夜景渲染赛道中，一路过关斩将，最终以巨大的优势斩获大众评审和摄影师评审两项世界冠军，高居榜首。

大众评审小米得分第一

专业摄影师评审小米排名第一

顶级盛会，世界牛人齐聚一堂！

CVPR（Conference on Computer Vision and Pattern Recognition），计算机视觉领域全球最具影响力、内容最全面的顶级学术会议。

NTIRE（New Trends in Image Restoration and Enhancement workshop and challenges），CVPR中关于影像恢复与增强相关任务的专题研讨会，是全世界规模最大、水平最高的图像恢复与增强的研讨会和比赛，素有“影像算法奥林匹克”之称，吸引了南京大学、南开大学、澳门大学、华为等众多国内外顶尖大学、研究机构和公司参加，今年已是第七届NTIRE比赛。

全新赛道，夜枭团队华丽登场！

夜景渲染挑战是今年NTIRE2022首次提出的比赛赛道，要求参赛者研发夜景渲染解决方案，对相机拍摄的单张夜景原始RAW图（大赛提供）进行处理。相比于其他赛道的比赛，夜景渲染挑战未提供目标效果图，需要参赛者自己摸索和定义目标效果，属于开放性赛道，难度更高且更具挑战性。

本次小米参加NTIRE2022 夜景渲染比赛的人员全部来自于夜枭团队。夜枭团队成立不到3年，团队规模20个人，绝大多数成员都是工作3年内的新生力量，是一个年轻、有干劲、有活力的团队。夜枭团队主要负责结合AI深度学习技术，提升手机相机拍照和视频的画质效果，研究方向包括去噪、高动态、颜色增强等，研究成果包括AI大片、夜枭极暗光拍照、夜枭视频、夜景抓拍等多个拥有自主知识产权的核心算法。

强强对决，夜枭算法脱颖而出！

在今年的夜景渲染赛道中，夜枭算法之所以能在比赛中脱颖而出，与其背后的技术密切相关。今天，我们就来为大家揭示这一冠军算法背后的技术原理！

概念解释

简单来讲，夜枭算法就是我们黑夜中的眼睛。

从一片黑暗，

到发现黑暗中的每一处细节。

详细来说，夜枭算法是针对夜晚场景的自研深度学习AI拍照算法。夜枭算法应用到原始RAW图上，包括图像去噪模块、图像提亮模块、图像颜色矫正模块，其中图像去噪模块包含多帧和单帧两种方案，最终将原始RAW图转化为细节更清楚、颜色更真实、动态范围更高的RGB图像。夜枭算法通过内容自适应的AI提亮模型和AI色彩还原模型，动态提升图像亮度，恢复图像真实颜色；利用自引导的多尺度融合AI去噪模型，实现更好的去噪效果，恢复更多细节，最终获得清晰明亮图像。（目前多帧夜枭算法方案已经被应用到多款小米旗舰手机上。由于比赛中提供的是单帧相机RAW图，所以在比赛中我们使用的是单帧夜枭算法。）

难点攻坚

夜枭算法的难点主要在数据获取、噪声去除与细节保留的平衡、高动态范围的保留和准确的色彩还原三个方面，相对应的，夜枭团队也针对以上难点提出了创新解决方案。接下来，让我们一一为大家道来：

难点一：训练数据的获取。深度学习模型训练需要大量训练数据，夜晚场景亮度低，灯光复杂多样，暗处噪声大，训练数据的采集是一个极大的挑战。

创新：夜枭算法自主研发了夜晚场景噪声标定系统。针对夜晚场景噪声的分布和形态进行数学建模，在干净的图像上添加噪声，从而补充大量模拟噪声数据，提升了训练数据的丰富度，使去噪过程更具有针对性。

难点二：噪声去除和细节保留的平衡。夜晚噪声大，单帧图像包含的信息有限，即使是多帧图像叠加去噪的方式，也会存在图像边缘信息丢失和部分内容丢失的现象，如何去除噪声的同时也能保留细节信息也是一大难题。

创新：夜枭算法首提自引导的多尺度融合AI去噪算法。当多帧RAW图输入时，进行亚像素特征对齐和特征级别信息融合，降低拍摄手抖的影响，实现多帧信息的互相补充。当单帧RAW图输入时，进行多尺度的特征重建，实现单帧内信息充分利用。结合噪声指导图，可以引导算法对不同区域进行不同程度的融合去噪。通过深度学习网络可以获得高级语义特征，指导局部信息残缺的区域实现细节恢复，获得更好去噪效果的同时，恢复更加丰富的细节信息。

难点三：高动态范围的保留和准确的色彩还原。夜晚场景通常会存在大量灯光，动态范围大，经常会出现高光区域细节丢失、暗处死黑的现象。同时夜晚场景的灯光通常是多种光源的混合光，很难准确估计出夜晚场景的白平衡信息来进行色彩还原。

创新：夜枭算法首提基于内容自适应的AI提亮模型和AI色彩还原模型。AI提亮模型针对图像中不同的区域进行不同程度的提亮，保证图像对比度的同时，保留亮区和暗区的信息，利用学习的方式可以让亮度过渡区域更平滑更自然；AI色彩还原模型提取图像中有效内容，并赋予不同区域不同的计算权重，有效避免过亮和过暗区域的干扰，解决了混合光源颜色失真问题，提升了夜枭算法对环境的自适应能力。

夜枭算法到底有多牛，

我们有图有真相！

左图为小米12Pro经夜枭算法处理后，右图为相同环境下友商拍摄照片。

左图为夜枭算法处理后，右图为原始图像。

从两张图片对比来看，明显看出经过夜枭算法处理后的图片画质更加清晰、颜色更为丰富、画面也更有质感，总而言之，就是好看！

目前夜枭算法已经应用到小米11 Ultra、小米12 Pro 等小米旗舰手机上，拥有这些机型的米粉们快去体验呀！

随着硬件和算法的不断提升，画质类的AI算法会越来越多地落地到手机上，AI技术注定会成为推动手机影像发展的核心力量。

手机影像算法不仅会朝着拍照更快、更清晰、颜色更准确、动态范围更高的方向发展，同时一些被认为不可能被攻克的问题也会通过AI技术解决，比如多色温场景下的颜色恢复、暗光下运动物体的抓拍等等。

未来手机影像也会变得更加智能，理解用户的需求，与用户无感交互，带给每个用户更定制化的手机影像体验，夜枭团队也将朝着这个方向继续努力，让我们共同期待夜枭团队为我们带来的下一份惊喜！

[互动有礼]

猜猜为何叫“夜枭”？

评论区留下你的答案！