从最开始的一无所有，到人生第一个30万，后来慢慢到120万，500万，800万，2000万再到现在的一个亿，真的很不容易。
啊，我说的是手机像素。
智能机时代，各大厂商都在拼拍照能力，直接把「单反相机」当成目标追赶。
单反有光学虚化，手机上立刻安排一个算法虚化，随着算法的进化，如今几乎能以假乱真。
单反在晚上拍照秒杀手机？安排一个超级夜景模式，堆栈降噪算法直接拉平差距，或者是用神经网络模型HDRNet等进行视频高动态范围成像（HDR）。
可以看到，手机和单反相机的差距是在不断缩小的，背后的最大功臣就是各种AI算法。
最近有外媒记者对高通相机产品管理副总裁Judd Heape进行了采访，探讨了智能手机摄影的未来，他表示人工智能是相机领域最有前途的发展方向，算法可以在未来介入整个图像捕捉的过程。
We’re three to five years away from reaching the holy grail of AI photography.
我们距离达到人工智能摄影的圣杯还有三到五年的时间。
展望未来，我们将会看到更多的AI算法被开发出来理解场景，比如理解皮肤和头发、织物和背景之间的区别等等。
更重要的是，所有这一切都可以在摄像机视频拍摄期间实时处理。
手机摄影何时超越单反？
AI算法在手机摄影上的应用大致可以分为四个阶段：
第一阶段非常基础，AI算法用于理解图像或场景中的特定物体；
第二阶段是人工智能控制所谓的3A功能，即自动对焦、自动白平衡和自动曝光调整；
第三阶段为开发AI算法用于了解场景的不同部分或元素，高通工程师估计行业目前就处于第三阶段。
第四阶段即AI完全接手图像处理，输入拍摄的原图，输出就是一张预期的照片。
比如用户可以说「我希望图片看起来像某个国家的地理场景」，AI引擎会自动调整颜色、纹理和白平衡，使得新照片看起来的风格和预期图片相似。
事实上，LG手机上专用的app Graphy已经初具第四阶段的雏形，可以让用户选择模型照片，然后自动调整曝光、白平衡和快门速度等设置以实现类似的效果。
但据高通推测，这项工作需要进行更精细的调整来捕捉目标图像的外观和感觉。
今年早些时候，索尼的一位高管预测智能手机的照片将在未来几年内超过数码单反相机。考虑到智能手机上处理照片能力进步的速度，这一预测还算合理，但与单反相机相比，手机更薄，各种相机组件过小仍然是一个大问题。
Heape也承认这一点，但就实现数码单反相机的图像质量而言，他认为移动图像传感器的进步速度和创新要远远比行业内的其他领域要来的更快、更先进，而且手机端拥有更强的计算处理能力。
比如，高通骁龙处理器的处理能力比最大且最差的尼康、佳能相机上的要好10倍，这就是为什么手机端能够真正突破图像质量的障碍，因为即使手机上只有一个小镜头和小图像传感器，它的处理能力也比数码单反相机的能力高出很多倍。
智能手机芯片开发的步伐意味着与相机相关的任务方面仍然存在巨大的性能和效率提升。
例如，骁龙865系列提供960fps慢动作，骁龙8 Gen 1可以提供 8K HDR 视频，骁龙 888 系列引入了通过三个摄像头同时录制的4K HDR视频，不断改进的多帧处理能力正在飞速突破相机界限。
相机硬件也将持续进化
在过去的几年里，像素大战重新燃起。
在2018和2019年，48MP的摄像头就是顶配，但现在108MP摄像头才够用，据说明年发布的三星Galaxy S23 Ultra将配备200MP摄像头。
除了算法外，手机厂商也在逐渐增大传感器的尺寸，比如小米和索尼合作在小米12S Ultra上发布的一英寸传感器50MP IMX989
高通的主要竞争对手联发科已经在天玑9000系列芯片上支持320MP摄像头，这也可能是该行业的下一个跳板点。
今天的智能手机还包含用于特定成像任务的专用芯片，即图像信号处理器（image signal processor），而且芯片制造商也引入了用于深度的bokeh引擎，以及用于面部检测的硬件。
手机摄像很快也会配备一块独立的硅片。
Heape解释说，视频是目前硬件加速最主要的关注领域，指的是前面提到的bokeh引擎以及计算机视觉硬件。
高通很快就会发布公告，发布专门的硬件来处理视频场景中的不同部分，硬件自然会知道如何处理皮肤、头发、织物、天空、草、背景等像素，这些都是需要添加专用硬件的领域，而且所有这些领域都适用于视频。
视频质量在过去几年中也取得了长足的进步，但当下8K仍然非常小众，可能要几年后才会升级成8K/60fps，影响更多的实际上功耗，所以独立芯片带来的改进更多是8K以下的视频。
最近几年的创新算法，如超稳定视频、AI算法加持的低光视频和夜间超延时，能够在4K或1080p画质下运行，比如苹果iPhone 14系列就可以录制4K的电影视频和2.8K的超稳定视频。
Heape认为还有改进的余地，例如更好地「处理运动和理解场景中的运动」，比如处理视频中的运动而不产生重影。
过去一两年里，高通也审查了几款配备屏下摄像机的手机，即使是最新的解决方案也无法与传统相机相提并论。
拿中兴Axon 40 Ultra与中端手机进行对比可以发现，即使是2018年的中端手机也可以击败中兴的屏下摄像技术。
所以高通不建议用户购买带有屏下摄像头的手机，除非自拍对你来说根本不重要。
Heape指出屏下摄像头可能带来的漫射问题、色彩问题和夜间「奇怪」的伪影，如果你追求时尚、完整的屏幕，那可以入手；对于爱好摄影的人来说，这可能不是正确的前进方向。
至少以目前的技术手段来说，屏下摄像头还不够好。
广角、长焦合二为一
自 2016 年以来，长焦相机一直是智能手机上的基本配置，现代光学变焦理论上距离可以很远，但被固定为10倍。
索尼发布的Xperia 1 IV在这方面进行了创新，推出了一款可变长焦相机，能够以各种原生变焦倍数进行拍摄，也就意味着手机上不再需要两个单独的长焦/潜望镜相机。
Heape认为，这也可能导致未来的手机完全放弃专用的长焦相机，转而使用兼作长焦镜头的主相机。
现在手机上一般搭配三个摄像头，即广角、超广角和长焦，如果能拥有真正的光学变焦，或许可以将广角和长焦合二为一，只需要两个摄像头，简化摄像系统，降低功耗等。
这对智能手机行业来说可能是一个非常重要的发展，明年可能会有厂商发布这类产品。
手机摄像未来光明
在过去的几年里，智能手机摄像头领域有许多令人兴奋的发展。在硬件方面，我们已经看到大型传感器变得普遍，定制成像芯片，令人印象深刻的变焦相机系统，以及大量的处理能力。
但我们也看到了神奇的软件改进，如超级稳定的视频模式、物体擦除、改进的HDR、同步视频捕捉流，以及更多。
在这一领域的创新方面，未来几年的前景也很光明。
在不断增长的传感器尺寸和上亿像素之后，可变长焦技术带来的相机数量减少，人工智能可以胜任更多的相片处理任务，以及更多的专用硬件，下一代智能手机相机仍然有很多值得期待的地方。
参考资料：
https://www.androidauthority.com/smartphone-camera-future-interview-3183730/
推荐阅读
欢迎大家加入DLer-计算机视觉技术交流群！
大家好，群里会第一时间发布计算机视觉方向的前沿论文解读和交流分享，主要方向有：图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。
进群请备注：研究方向+学校/公司+昵称（如图像分类+上交+小明）
👆 长按识别，邀请您进群！
扫一扫
248
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
