萧箫 边策 发自 凹非寺
量子位 报道 | 公众号 QbitAI
“拍照优化、语音助手以外,手机AI还有什么?”
今年全新一代骁龙8移动平台发布时,高通再次翻译翻译了,什么叫脑洞大开——
让手机学会“听诊”,通过语音识别出用户可能存在的疾病,比如抑郁症、哮喘;
让手机实现“防偷窥”,通过识别陌生用户的视线,实现自动锁屏;
让手机游戏搞定超分辨率,将以往PC端才有能力运行的画质,搬到手机上体验……
更重要的是,这些AI功能,骁龙8有能力同时运行!
高通声称,骁龙8搭载的第7代AI引擎,性能相比上一代最高提升了4倍。
这意味着我们玩手机的时候,同时“多开”几个AI应用也没问题。更重要的是,它不仅仅是简单的AI性能提升,更能给用户带来流畅的应用体验感。
在硬件制程升级如此艰难的今天,高通是如何在第7代AI引擎的性能和应用上“翻”出这么多新花样的?
我们翻了翻高通发表的一些研究论文和技术文档,从中找到了一些“蛛丝马迹”:
在高通发布的AIMET开源工具文档里,就有提到关于“如何压缩AI超分辨率模型”的信息;
在与“防偷窥”相关的一篇技术博客中,介绍了如何在隐私保护的前提下使用目标检测技术……
而这些文档、技术博客背后的顶会论文,全都来自一家机构——高通AI研究院。
可以说,高通把不少研究院发表的AI论文,“藏”在了第7代AI引擎里。
顶会论文“藏身”手机AI
先来看看第7代AI引擎在拍照算法上的提升。
针对智能识别这个点,高通今年将面部特征识别点增加到了300个,能够捕捉到更为细微的表情变化。
但同时,高通又将人脸检测的速度提升了300%。这是怎么做到的?
在一篇高通发表在CVPR上的研究中,我们发现了答案。
在这篇文章中,高通提出了名为Skip-Convolutions(跳跃卷积)的新型卷积层,它能将前后两帧图像相减,并只对变化部分进行卷积。
没错,就像人的眼睛一样,更