Deep Spiking Neural Network for Video-Based Disguise Face Recognitiony阅读笔记

《Deep Spiking Neural Network for Video-Based Disguise Face Recognition Based on Dynamic Facial Movements》阅读笔记

IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS, VOL. 31,NO. 6, JUNE 2020

该论文将深度学习模型与全局动态面部运动相结合，提出了一种新的识别范式，而不是依赖于局部面部上下文信息。在这里，全局动态面部运动表示说话或其他活动引起的面部肌肉变化，深度神经网络可以使用（spiking neural network）SNN或者CNN。由于一个人很难模仿他人的潜意识行为，如肌肉运动。该方法可以在缺少部分信息的情况下识别人脸。

文中提出一种新的深度SNN框架，将动态的面部动作作为唯一输入，并使用差分的视频帧来描述其动作。但是，这样一个简单的线性操作并不足以抵消输入视觉刺激的大量数据冗余，这意味着动态面部动作中存在大量的类内变化。文中采用模拟腹流的深度特征提取体系结构来获得所需的特征向量。
通过所提出的尖峰编码方案，将上述特征向量进一步转换为尖峰模式序列，以便通过事件驱动的连续尖峰定时相关可塑性(STDP)学习规则来训练它们。此外，还应用自适应阈值化策略来实现稳定的学习过程。即使是某些面部区域被伪装，提出的基于视频的伪装人脸识别(VDFR)方法仍然可以识别个体。

层次前馈SNN架构
该架构包括5层，如图1。

A、动态运动提取层
本文利用动态面部运动来区分不同的个体。
为了捕捉动态面部特征，对象在录制期间被要求发言，采取绝对差分帧d Iⁿ(x,y,t) / d tⁿ 来表征该面部运动。

其中 Iⁿ(x,y,t) 是 Iⁿ(x,y,t-1) 时域中两个连续输入的视频帧。文中将n设为1，相应的绝对差分帧为：

效果如图2：

B、高层特征提取层

由于类内变化，动态特征不能直接用于身份识别，需要一个高层特征提取层来获得平衡不变性和可分辨性的特征。文中使用基于GPU的皮层网络模拟器(CNS)来构造提取层。
1、输入图像层
我们首先将输入图像转换为灰度图像，然后调整其大小，使较短的边缘等于140像素，同时保持与输入图像相同的纵横比。最终目标是建立一个包含10个尺度，每个比前一个小2^1/4的图像金字塔 I’(x,y,z)^σ，其中σ代表尺度。
2、Gabor滤波器(S1)层
该层中，Gabor回应F^σ,θ_(x,y)用于模拟初级视觉皮层。其中(x,y)表示坐标，σ表示刻度，θ表示方向。对于一个输入图片 I’(x,y,z)^σ ，Gabor计算如下：

其中γ是纵横比，λ 是宽度，(x₀,y₀)是旋转θ后的坐标。我们为所有尺度选择相同的Gabor滤波器大小(11×11）。

3、局部不变(C1)层：
给出m个向心(F^σ,θ_(x1,y1),F^σ,θ_(xm,ym))，最大响应 r^σ,θ_(x,y) 可以用于标识相关的C1单元。

4、中间特征(S2)层
我们从以前的C1层随机采样原型补丁（补丁意味着一组处理单元）作为模板，然后在C1单元的每个可能的补丁和每个原型补丁之间应用模板匹配。本质上，原型补丁是从先前C1层中的随机位置/尺度采样的C1单元的补丁。它有不同的大小，包括四个方向在每个位置。
给定一个补丁的C1单元X和一个潜在的S2原型P(both have the same size of n ×n ×4 with n ∈ {4, 8, 12, 16})，文中使用高斯放射基（Gaussian radial basis function）计算相应的响应。

其中σ表示标准差，α表示归一化因子。

5、全局不变(C2)层
我们将某些极限纳入事实上的全局不变性机制，使最终的C2特征对所有位置和尺度都不是全局不变的。
C、尖峰编码层
将模拟特征向量转换为连续尖峰模式序列。本文采用秩次编码(ROC)产生尖峰模式序列。

如图4，尖峰时间与输入视觉刺激的强度呈反比关系。
与传统ROC编码机制不同，本文采用绝对尖峰时间（absolute spiking timings）而非相对射击顺序（relative firing orders）来表示相应视觉刺激。这是因为各种尖峰模式可能具有相同的相对射击顺序（relative firing orders），如果使用经典的ROC方案，我们就无法区分这些模式。