1.5秒连拍!看看Pixel 3找到最好的镜头

最佳镜头（Top Shot）是网络大厂最近推出刚放进Pixel 3的新功能，可以帮助用户在按下快门时，自动地精确捕捉有价值的瞬间。最佳镜头使用计算机视觉技术，实时保存和分析装置上快门按下前后的图像，并推荐用户替代的高质量HDR+照片。网络大厂今日公开其技术细节。网络大厂在其自家旗舰手机Pixel 3加入了许多先进技术，以提升拍照质量，包括让数字变焦比拟光学变焦的画质，还有强大的Night Sight功能，即便是晚上低光照都能拍得清楚，以及使用机器学习改善人像模式景深效果，不只这样，Pixel 3的相机还默认启用最佳镜头功能，帮助用户捕捉最佳镜头。

当用户打开Pixel 3照相应用程序时，默认情况下就会启动最佳镜头功能，当使用按下快门时，系统会自动从按下快门前与后的1.5秒，在3秒间拍摄90张照片，最后使用者可以选择两张高分辨率的照片，除了原本按下快门的那一张，还会有一张高解析替代图片供用户选择。系统会对用户按下快门前后所拍下的图像，进行判断主体是否微笑等质性特征分析，同时也会把图像中的光流、曝光时间以及陀螺仪等感测数据，作为评估图像质量的特征。最佳镜头参考三个关键属性，第一，诸如打光等功能质量，第二、主观质量，像是照片人物的眼睛是否睁开，抑或是表情有没有微笑，第三，情绪表达等客观质量。网络大厂设计了一个计算机视觉模型，以便低延迟的在装置上进行这些属性辨识。

而为了提供实时低延迟的拍照体验，Pixel 3上使用网络大厂 Visual Core来处理这些HDR+图像，并嵌入到动态照片中。网络大厂提到，由于最佳镜头功能是后台程序，必须要非常省电，所以最佳镜头使用硬件加速的MobileNet SSD（Single Shot Detector），不过优化模型的执行，仍受到电力以及热的限制。这个神经网络设计，在前面网络层进行较低阶的视觉属性侦测，进行物体模糊程度等判断，之后才进行比较复杂的的主观与客观属性判断。网络大厂在训练和推理期间，量化（Quantization）大量各类型脸部照片，并且使用神经网络知识蒸馏（Knowledge Distillation）技术，接着使用分层广义加法模型（GAM）来为脸部评估质量分数，组合成加权平均影格脸部（Frame Faces）分数。

网络大厂提到，这个模型让他们能够简单的解释知识识别成功与失败的原因，进而实现快速迭代，以提高属性模型的质量与效能。虽然最佳镜头会优先处理脸部特征，但在部分非脸部为主体的场景，则主要考虑物体运动、全局运动模糊以及自动曝光、自动对焦和自动白平衡3A的分数。为了测试最佳镜头的质量，网络大厂找来数百名自愿者进行测试评估，贡献的数据集涵盖肖像、自拍、动作和风景等拍照情境，而且为了确保最佳镜头对所有用户都提供一致的体验，网络大厂针对性别、年龄以及种族等不同子群集进行测试，以确保这些模型使用的属性在每个子群集中都同样精确。原信息来源至：http://partner.henkel.com.cn/local/index.php

转载于:https://my.oschina.net/u/3695307/blog/2993605