《论文阅读》Deep Spatial Gradient and Temporal Depth Learning for Face Anti-spoofing

最新推荐文章于 2021-07-13 14:48:56 发布
最新推荐文章于 2021-07-13 14:48:56 发布
阅读量1.5k 收藏 4
点赞数 2
分类专栏： 计算机视觉 深度学习 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43310834/article/details/108476303
版权

留个笔记自用

Deep Spatial Gradient and Temporal Depth Learning for Face Anti-spoofing

做什么

在这里插入图片描述
Face Anti-spoofing人脸反欺骗，判断捕捉到的人脸是真实人脸，还是伪造的人脸攻击（如彩色纸张打印人脸图，电子设备屏幕中的人脸数字图像以及面具 等）

做了什么

首先先理解一下真实人脸和伪造人脸的区别
在这里插入图片描述
这里是用的sobel算子计算的空间梯度幅度图，很明显的看出在RGB图像中，肉眼很难看出两者哪个是真人哪个是假人，而在生成的空间梯度幅度图中两者的区别很明显。
在这里插入图片描述
而在时间领域上进行切入（即帧序列），在相机不动的情况下，真实人脸和虚假人脸的立体信息也是有很大差别的，正常情况下，人脸鼻子到右耳的角度α变小后，人脸鼻子到左耳的角度β会变大，而假图像中，α变小，β也可能会变小，直观地说，活人脸的图像包含类似人脸的深度，而印刷和重放载体中的欺骗人脸的图像只有平面深度。
于是乎，这里假设空间细粒度特征和时间特征均会对其影响。

怎么做

在这里插入图片描述
整个结构非常复杂，整体的功能就是输入Nf长的序列帧，然后直接输出深度图。
先了解组成这一大结构的小模块。
首先是Residual Spatial Gradient Block （RSGB）模块，这个模块的主要功能是获取细粒度的空间细节
在这里插入图片描述
这里的Gradient Magnitude使用的是经典的sobel算子，即
在这里插入图片描述
这里的x指的就是input的图像或者feature，这一步是为了获取它的梯度幅度信息，上文也提到过，然后再结合上3×3的卷积提取input的空间局部语义特征，最后就呈现出这样的公式
在这里插入图片描述
这里x’指的是input的x经过1×1卷积调整channel后的结果，N指的是BN而φ指的是relu
然后是第二个重要模块Spatio-Temporal Propagation Module（STPM）时空传播模块，这个模块由两个部分组成，一个是STSTB部分，一个是ConvGRU部分。这个模块的主要作用是用于多帧的时空估计。
在这里插入图片描述
在这里插入图片描述
STSTB主要由五个输入所组成，分别是当前特征Fl(t),特征Fl(t)的sobel算子结果即幅度信息图，Δt时间后的特征Fl(t+Δt)的sobel算子结果和特征Fl(t+Δt)与Fl(t)的相减，还有上一层STSTB的迭代结果，当然这里的1×1卷积也是为了控制通道数，由这五个输入进行整合后得到的输出结果称之为STSTB的feature，这里视为包含了空间细节和时空时序信息的feature，即文主旨
然后是ConvGRU，这就是非常普通的了，值得注意的是这里的迭代时序是纵向的而不是横向的，公式👇
在这里插入图片描述
然后是最后一小部分refine部分
在这里插入图片描述
这里就是为了再度结合时序的关系，将每个时刻输出的深度图都需要经过前面每一帧的深度图进行结合，这里的公式也很好理解👇，α越大表示时序内容越重要，Dsingle即当前时刻输出的深度图
在这里插入图片描述
然后是训练的LOSS
首先是最简单的LEDL
在这里插入图片描述
这里的Dp是预测的深度图，而DG是GT深度图，这个LOSS显而易见是为了使深度图与GT相似
然后是最重要的一个LOSS
LCDL即Contrastive Detph Loss
在这里插入图片描述
这个LOSS是对预测的深度图和GT的深度图的attention之间的LOSS，具体方法是使用8种不同的卷积核获取图片的attention结果，图中3×3的卷积核黄色是-1，紫色是1，白色是0
在这里插入图片描述
这里的KCDL便是卷积核，DP和DG与上面相同，将卷积核作用后的attention feature进行逐元素对比后得到最后的结果，这个LOSS可以理解为提高不同对象之间的距离关系
接下来是Lbinary
在这里插入图片描述
这里的BG是二进制的GT，即是真人脸还是欺骗人脸，Davg是前面每一帧D的平均值，fcs是普通的全连接层和softmax，最后输出的是跟BG相同的类别表示
然后将所有的LOSS整合
在这里插入图片描述

总结

1.从时间和空间角度进行切入的又一例子，但其实这样输入的就不是单张图片，感觉上算是加强输入换来的好结果
2.Contrastive Depth Loss是个新活，在细节粒度上哪里都能用

未知丶丶
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
论文笔记-Deep Spatial Gradient and Temporal Depth Learning for Face Anti-spoofing
Lyndsey的博客
11-19 635
第1…4天啦 今天依旧给大家介绍一篇人脸反欺骗的论文，略读。 一、研究背景 人脸反欺骗对人脸识别系统的安全性至关重要。深度监督学习已被证明是最有效的人脸反欺骗方法之一。尽管取得了巨大的成功，但大多数先前的工作仍然通过简单地用深度来增加损失来将问题公式化为单帧多任务问题，同时收集详细的细粒度信息以及面部深度和运动模式之间的差异。 以往的方法通常将人脸反欺骗形式化为欺骗和现实生活之间的二元分类。然而，这些方法对于探索欺骗模式的本质是具有挑战性的，例如皮肤去尾的丢失、颜色失真、莫尔模式和欺骗伪像。 为了克服这个问
FAS-SGTD:用于人脸反欺骗的深度空间梯度和时间深度学习
03-21
财务会计准则委员会 介绍 主要代码 先决条件 Python 3.6（numpy，skimage，scipy） TensorFlow> = 1.4 的opencv2 枕头（PIL） 易言 火车 您可以使用生成虚拟深度图。 对于单帧舞台： cd fas_sgtd_single_frame && bash train.sh 对于多帧阶段： cd fas_sgtd_multi_frame && bash train.sh 测试 我们提供OULU-NPU协议1的示例。您可以从 （pwd：luik）或下载模型，然后将其放入fas_sgtd_multi_frame/model_save/ 。 cd fas_sgtd_multi_frame && bash test.sh 执照 代码：根据MIT许可。 它仅用于研究目的，不允许用于商业用途 引文 如果您使用此代码，请考虑引用： @inprocee
活体检测论文笔记2——Deep Spatial Gradient and Temporal Depth Learning for Face Anti-spoofing
murphlaw的博客
07-13 551
本文创新点： 设计了一种基于两种见解来检测来自多个框架的表示攻击的新方法： 1)详细的鉴别线索（例如，空间梯度大小)可以通过叠加的普通卷积被丢弃；2）三维运动人脸的动力学为检测假人脸提供了重要的线索 目前尚未被解决的问题： 1.如何将局部细粒度信息聚合到卷积网络中的面部反欺骗任务还没有被探索 2.多帧可以更充分地探索脸和欺骗脸之间的虚拟深度区分。 解决方法： 我们提出了一种新的具有剩余空间梯度块(RSGB)和时空传播模块(STPM)的深度监督时空网络。 本文主要贡献： 1.提出了一种新的深度监督架构，
活体检测——多帧深度估计防作伪
小花生的博客
04-18 1211
论文：《Exploiting temporal and depth information for multi-frame face anti-spoofifing》 京东金融、华为云和中科院在2018年联合发表的利用时间和深度信息进行多帧人脸反欺骗算法 主要创新点和贡献点：   利用了多帧的时空信息来更精准地预测深度图，再而进行活体检测。 评测的基准数据集：   OULU-NPU, SiW, CASIA-MFSD,Replay-Attack. 动机：   作者画出下面的草图来描述活体与非活体多帧间的微
cvpr2020 人脸检测与识别_CVPR2020人脸防伪检测挑战赛冠亚军论文解读（上篇）
weixin_31485835的博客
11-30 596
本文介绍的是CVPR2020 oral论文《Deep Spatial Gradient and Temporal Depth Learning for Face Anti-spoofing》，作者来自明略科技。作者 | 明略科技编辑 | 丛 末在CVPR2020由中科院自动化研究所模式识别国家重点实验室主办的ChaLearnFace Anti-spoofing Attack Detection C...
CVPR2020人脸防伪检测挑战赛冠军方案开源
我爱计算机视觉
05-13 3443
本文转载自AI科技评论。本文介绍的是CVPR2020 oral论文《Deep Spatial Gradient and Temporal Depth Learning for Face ...
Deep Spatial-Temporal 3D Convolutional Neural Networks for Traffic Data Forecasting
02-08
Deep Spatial-Temporal 3D Convolutional Neural Networks for Traffic Data Forecasting
A novel depth spatial-temporal consistency enhancement algorithm for high compression performance
02-09
can compensate both spatial and temporal depth information<br />inaccuracy by using Bayesian probability model and Rival<br />penalized competitive learning in Self-Organizing Maps. ...
Deep Learning for Time Series Forecasting - by Jason Brownlee
06-26
Deep Learning for Time Series Forecasting Predict the Future with MLPs, CNNs and LSTMs in Python Jason Brownlee 5 25 step-by-step lessons, 575 pages. 深度学习方法为时间系列预测提供了许多希望，例如...
论文研究-QoE Assessment for Streaming Video Considering Spatial-Temporal Characteristic.pdf
08-22
考虑时间-空间特性的流媒体视频QoE评价模型，石然，刘奕彤，流媒体视频服务作为目前网络服务最广泛使用的应用之一，其用户感知质量已经引起了服务提供商的广泛关注。本文提出了一种预测流媒
DMVST-Net:AAAI的DMVST-Net 2018
05-05
深度多视图时空网络用于出租车需求预测 论文的源代码 如果您发现该代码有用，请引用我们的论文 @inproceedings{yao2018deep, title={Deep Multi-View Spatial-Temporal Network for Taxi Demand Prediction}, author={Yao, Huaxiu and Wu, Fei and Ke, Jintao and Tang, Xianfeng and Jia, Yitian and Lu, Siyu and Gong, Pinghua and Ye, Jieping and Li Zhenhui}, booktitle={The Thirty-Second AAAI Conference on Artificial Intelligence}, year={2018} } 当前版本 我只
Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting
02-08
Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting
CVPR2020人脸防伪检测挑战赛冠亚军论文解读（下篇）
喜欢打酱油的老鸟
05-18 4065
2020-05-14 21:12:17 本文介绍的是CVPR2020 论文《Searching Central Difference Convolutional Networks for FaceAnti-spoofing》，作者来自明略科技。 作者 | 明略科技 编辑 | 丛 末 在CVPR2020由中科院自动化研究所模式识别国家重点实验室主办的ChaLearnFace Anti-spoofing Attack Detection Challenge人脸防伪检测挑战赛中，由奥卢大学与明略科学院
CVPR2020人脸防伪检测挑战赛冠亚军论文解读（上篇）
喜欢打酱油的老鸟
05-18 1565
2020-05-13 21:17:17 本文介绍的是CVPR2020 oral论文《Deep Spatial Gradient and Temporal Depth Learning for Face Anti-spoofing》，作者来自明略科技。 作者 | 明略科技 编辑 | 丛 末 在CVPR2020由中科院自动化研究所模式识别国家重点实验室主办的ChaLearnFace Anti-spoofing Attack Detection Challenge人脸防伪检测挑战赛中，由奥卢大学与明略
README “Deep Spatial Gradient and Temporal Depth Learning for Face Anti-spoofing” 自用
qq_44465615的博客
03-16 160
FAS-SGTD Introduction Main codes of CVPR2020 paper “Deep Spatial Gradient and Temporal Depth Learning for Face Anti-spoofing” Prerequisite Python 3.6 (numpy, skimage, scipy) TensorFlow >= 1.4 opencv2 Pillow (PIL) easydict Train You can us
2020CVPR深度估计
热门推荐
colorsky100的博客
06-19 1万+
论文收集方法 检索了所有带depth的标题的论文，争取没有遗漏的筛选深度估计相关论文 下面进行分类 单纯有监督深度估计 uncertainty aware cnns for depth completion: uncertainty from beginning to end 有监督深度估计，给出了不确定性度量 generating and exploiting probabilistic monocular depth estimation 通用的有监督深度估计 structure-guided ran
CVPR2020 | 已收录文章 | 开源 3D数据处理论文推荐 | 未完待续
long123444的专栏
03-28 412
1、论文名称：Deep Spatial Gradient and Temporal Depth Learning for Face Anti-spoofing 代码：https://github.com/clks-wzz/FAS-SGTD. 作者：Zezheng Wang 论文简介：融合时间和空间信息的基于深度学习的人脸检测算法。 2、论文名称：Learning to Segment 3D Po...
Letter Combinations of a Phone Number:给定数字求出对应的多个字母的组合可能问题
小雄鹿的博客
10-06 609
Given a digit string, return all possible letter combinations that the number could represent. A mapping of digit to letters (just like on the telephone buttons) is given below. Input:Digit string
Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform
最新发布
04-05
Image super-resolution (SR) is the process of increasing the resolution of a low-resolution (LR) image to a higher resolution (HR) version. This is an important task in computer vision and has many practical applications, such as improving the quality of images captured by low-resolution cameras or enhancing the resolution of medical images. However, most existing SR methods suffer from a loss of texture details and produce overly smooth HR images, which can result in unrealistic and unappealing results. To address this issue, a new SR method called Deep Spatial Feature Transform (DSFT) has been proposed. DSFT is a deep learning-based approach that uses a spatial feature transform layer to recover realistic texture in the HR image. The spatial feature transform layer takes the LR image and a set of HR feature maps as input and transforms the features to a higher dimensional space. This allows the model to better capture the high-frequency details in the image and produce more realistic HR images. The DSFT method also employs a multi-scale approach, where the LR image is processed at multiple scales to capture both local and global features. Additionally, the model uses residual connections to improve the training process and reduce the risk of overfitting. Experimental results show that DSFT outperforms state-of-the-art SR methods in terms of both quantitative metrics and visual quality. The method is also shown to be robust to different noise levels and image degradation scenarios. In summary, DSFT is a promising approach for realistic texture recovery in image super-resolution. Its ability to capture high-frequency details and produce visually appealing HR images makes it a valuable tool for various applications in computer vision.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值