pledge 堂妹 发自 澡堂子
糖宝 报道 | 公众号 九点澡堂子
前段时间看到这则新闻人脸识别的时候,一定要穿上衣服啊!!!
作为一个AI从业者,深知这篇文章里存在一些误区,今天这篇文章,希望能够给还人脸识别技术一个“公道”。
人脸解锁
人脸识别大家应该都很熟悉了,它是人脸解锁应用里最核心的模块,也是近年来颇有争议的话题。
只不过,虽然大家表面都叫"人脸解锁",“背后”实力悬殊。
网络上那些奇奇怪怪的“用别人的脸解开自己的锁”的新闻,并不是这个技术本身问题。要怪只怪预算有限,买了些“劣质产品”。
你们猜下面这个炫酷的画面是什么应用场景?
别着急,我们稍后揭晓答案。
数据表明,全国每天使用人脸解锁的人次高达300亿。
自从iPhone X上线Face ID后,近几年各大品牌的手机都逐步上线“人脸解锁”功能,它也逐步成为手机届的解锁“扛把子”。
作为CV落地第一棒,AI技术除了赋能手机,门锁"凯迪仕",
车企"凯迪拉克"也都紧跟潮流,成为AI落地的载体。
我们今天就来揭秘一下,"人脸解锁🔓"后面的技术链条。
人脸解锁技术链条
如上图,这是人脸解锁目前相对较全的pipeline了,接下来我们一个个环节剖析。
第一步:人脸检测校准
这一模块可分为两个步骤:
判断图中是否有人脸,若有则给出大致的位置;
对人脸进行精细位置定位并转正人脸。
这一环节主要就是对图像中的人脸做位置定位,为后续环节提供支持。
比较容易理解,这里我们不展开介绍。
第二步:人脸遮挡判断
这一模块用于在人脸信息不完整场景下提高手机解锁的安全性。
以目前最常见的场景为例,当戴着口罩的时候能否解锁我们的手机?
目前我们测试的结果如下:
以iPhone12为例, 苹果手机戴口罩很难解开(不考虑Apple Watch);
以华为mate40为例,华为手机在口罩拉到鼻梁以下可以解开;
以小米11为例,小米手机正常佩戴口罩可以解开。
在解释上述现象之前,我们先来分析一下为什么需要“遮挡判断”?
由此可见,“遮挡判断”是满足国民“戴口罩解锁需求”的技术保证。
在这个模块中,会对输入的人脸信息做判断,当遮挡后的剩余信息量满足后续模块最低要求时,即通过该判断,否则解锁失败。
由实验表明,对于华为手机,最低要求是保留鼻子及以上的信息;
对于小米手机,保留眼睛及以上信息即可解锁;
对于苹果手机,大概率是不支持戴口罩解锁,对于不完整的人脸信息,苹果直接判定解锁失败。
在保证安全和准确率的前提下,这个最低要求是多“低”,由后面的“人脸识别模块”算法能力来决定,这也就体现各家公司的研发能力。
第三步:人眼注视判断
这一模块用于避免当事人在场但个人不知情的场景下手机被解锁。
这里面包含两个细节:视线朝向和睁闭眼。当睁眼且视线朝向手机时,才构成解锁条件。
现在的很多手机中也显式的暴露了“是否需要注视解锁”的设置。
我们用一个经典画面来侧面验证一下:
这个故事告诉我们,算法没有人精,喝酒不能贪杯哦~
第四步: 人脸识别模块
这是绝大部分人对于AI应用的第一印象,作为人脸解锁产品中最核心的模块,具有至关重要的地位。
人脸识别,顾名思义,就是把解锁时摄像头获取的人脸数据和手机中已录入的人脸模板做匹配。
那可能会有人有问,如果一个人有两副面孔呢?比如碰到“换头式”化妆术。
新一代码农们岂能被这种小问题难住??
在此我们给出华为的解决方案“备用面容”,当然这也是手机厂商的通用方案。
图片来源:华为手机宣传片
第五步,静默活体检测
这个模块用于避免当事人不在场的场景下手机被解锁。
其主要作用是在别有用心之人拿照片、视频、人皮面具、3D假人头等非活体样本攻击算法企图解锁手机时,保证人脸解锁的安全性。
视频中的情节很好展示了:用照片或者录好的视频都不能骗过活体检测模块,无需担心自己的照片被用作解锁。
当然,不同公司的活体检测算法水平肯定不一样。
在手机中的这个模块被称为“静默活体”,而在我们金融或者医疗这种需要实名制的场景,还会引入“交互活体模块”,也就是大家接触的“眨眨眼、张张嘴、摇摇头”。
即使是交互活体的场景,大都是以智能算法的方式进行,极少数敏感场景下会设置“人工审核”的步骤来应对极端case,这就需要具体产品具体分析。
总结陈词
上述的五大步骤,是目前相对完整的人脸解锁pipeline。
人脸识别只是其中的必要不充分模块,只有它,虽然人脸解锁功能可以运转,但是安全性得不到保证。
因此加上遮挡判断、注视判断、静默活体检测之后,人脸识别“如虎添翼”,才能从一个“功能模块”,变成一款真正经受得住市场考验的“产品”。
那这样一个完整的算法pipeline,是如何与我们的手机产生联系呢?
这就是“部署”的工作了。在本篇文章中,我们先简单介绍AI算法的部署平台。具体的硬核部署流程,有缘的话,我们下一篇文章见~
传说中的“云边端”
凡提到部署领域,"云边端"一词必定出现。
作为AI技术的实际载体,各家公司穷尽其有在这个环节力争上游。
手机作为“边”系列的代表产品,凡新品发布会,“边上性能”必定会拎出来和竞品PK。
图片来源:华为mate30 发布会
我们先来看看“云、边、端”分别代表什么:
云:一般指由公司集中管理的服务器,比如阿里云,腾讯云;
边:一般指拥有一定计算功能的私人设备,如PC、手机;
端:一般指只拥有获取数据能力的设备,比如摄像头、麦克风。
我们可以从计算能力、数据来源、数据获取延时三个维度来简单区分:
EFLOPS:10^18;TFLOPS:10^12;GFLOPS:10^9(单位:次浮点运算每秒)
鉴于IO总线传输速度远大于4G的网络传输速度,对于人脸解锁这样一个要求在1s内完成全流程、实时性要求较高的模块,如果通过网络来进行传输,4G的传输速度是远远不够的。
因此,当前我们将其直接部署在了“边”上,利用“边”上包含自带数据获取、数据计算、数据反馈等自形成闭环操作的特性,完成人脸图像的获取到结果呈现的实时处理流程,既保证的数据安全不流失,又保证了用户体验。
随着5G技术的发展,其传输速度能够逐渐逼近IO总线传输速度,届时,云+5G是否能创造出的新使用场景,我们拭目以待。
谁主沉浮
解锁市场风起云涌,Face ID 和 Touch ID的PK尚未决出胜负。
细数这些年在历史潮流中出现过的手机解锁方式,除了人脸解锁和指纹解锁外,还包括最原始的密码解锁、风靡一时的手势解锁、互动性很强的语音解锁以及带有未来科技感的虹膜解锁等等。
当然,除了指纹和人脸解锁外,大家几乎很难看到第三方案作为手机的第一解锁方式,而他们退出历史舞台的原因各有不同。
虹膜解锁虽然安全性很强,但是对眼睛的状态要求极高,不能带美瞳,不能带眼镜,瞳孔必须严格正对摄像头才能解锁。
图片来源:三星产品宣传
手势和密码解锁因为安全和便利不可兼得而受人诟病,复杂设置安全但繁琐,简单设置又容易被偷窥和复制。
语音解锁方案中,声音的可复制性和其本身的多变性,带来负面的用户体验。
大浪淘沙始见金,指纹解锁和人脸解锁突破重围, 成为当前最为主流的解锁方案。
当然,两种方案都有它的不足之处,都没有做到无懈可击。
指纹解锁,对于少部分指纹浅,爱脱皮,爱出手汗的同学,就不是最佳选择;
人脸解锁,会有化妆前后差别大,人脸有遮挡等场景解锁失败的问题。目前这些问题的都可以通过上文提到的“备用面容”、“遮挡判断模块”来应对。
在这个技术洪流的裹挟之中,我们可以“各有所爱”。
最后友情提示:
解锁时,手机镜头面向自己的状态,是和拿着手机自拍一样的,大家可以回想一下细节。
镜头能摄取的内容不只是面部,而是能覆盖的所有视角,千万别被屏幕上的辅助框误导。
人脸解锁虽好,请记得穿衣哦~
参考资料:
https://v.qq.com/x/page/n3137x7mzj9.html
https://v.qq.com/x/page/p0901avad4x.html
https://v-wb.youku.com/v_show/id_XNDg5NjIzNzg2NA==.html
https://baijiahao.baidu.com/s?id=1628033382042831413&wfr=spider&for=pc
点击下方名片关注我
你的每一条留言我都会回复
最后,我建立了各大城市的产品交流群,想进群小伙伴加微信:yw5201a1 我拉你进群。
关注微信公众号:产品刘 可领取大礼包一份。
··················END··················
今日研报:京东家电发布《家电消费趋势白皮书》,公众号后台回复“ 家电消费”,即可下载完整PDF文件。
RECOMMEND
推荐阅读
公司为什么宁愿花11K月薪招新人,也不愿意花9K的月薪留住老员工?
点击“阅读原文”
查看更多干货