Adaptive Normalized Representation Learning for Generalizable Face Anti-Spoofing论文阅读笔记

论文基本信息

作者：Shubao Liu,Ke-Yue Zhang, Taiping Yao

机构：华东师范大学、腾讯

来源：ACM MM

时间：2021

链接：[2108.02667] Adaptive Normalized Representation Learning for Generalizable Face Anti-Spoofing (arxiv.org)

基础知识

1.BN&IN

深度学习中的Normalization模型 - 知乎 (zhihu.com)

常见面试问题2：归一化-BN、LN、IN、GN_哔哩哔哩_bilibili

BN：对一个batch里所有的图片的所有像素求均值和标准差

IN：对单个图片的所有像素求均值和标准差

DNN中的规范化操作分为两类

• 对第L层每个神经元的激活值或者对第L+1层网络神经元的输入值进行Normalization操作，比如BatchNorm/LayerNorm/InstanceNorm/GroupNorm
• 对神经元网络中连接相邻隐层神经元之间的边上的权重进行规范化操作，比如L1/L2正则

规范化目标：将激活值规整为均值为0，方差为1的正态分布

输入4张图片，通道数是3，大小是240*240

上图中，从C方向看过去是指一个个通道，从N看过去是一张张图片。每6个竖着排列的小正方体组成的长方体代表一张图片的一个feature map。蓝色的方块是一起进行Normalization的部分

BN批归一化：分3次进行归一化，每次对4张图片的某个通道层的数共同归一化

LN层归一化：4张图片进行4次归一化，每次对一整张图

IN：要进行12次，每张图片的每个通道分别归一化

GN：对通道数分组进行归一化

2.RelU、sigmoid、softmax

使用情形

3.soft attention

Soft Attention Model - 云+社区 - 腾讯云 (tencent.com)

Attention算法调研(四) —— 视觉应用中的Soft Attention - 知乎 (zhihu.com)

软性注意力机制(Soft Attention)是指在选择信息的时候，不是从n个信息中只选择一个，而是计算n个输入信息的加权平均，在输入到神经网络中计算

4.intra-class(类内距离)与inter-class(类间距离)的区别

“inter” means “between” or “among”.

“intra” means “within”.

从international（国际的）和intranational（国内的）的角度来思考。第一个是“跨多个国家”，第二个是“在一个国家内”。 在涉及尝试将样本分配给类别的许多问题中，目标是最大化类别间的差异，并最小化类别内的差异。也就是说，每个类别中的样本必须尽可能相似，而不同类别中的样本必须尽可能不同

5.FPR-FNR图

(1条消息) FAR(FPR)与FRR(FNR)的曲线绘图以及EER计算绘图_NJU_dislab_XC的博客-CSDN博客_far和frr曲线怎么画

(1条消息) 人脸识别模型评价指标：完整梳理_Robin_Pi的博客-CSDN博客_人脸识别评价指标

(1条消息) 真阳率（true positive rate）、假阳率（false positive rate），AUC，ROC_生活不只*眼前的苟且的博客-CSDN博客_false positive rate

图片含义：

false positive rate：真实是假，预测是真

false negative rate ：真实是真，预测是假

曲线下面积越小越好

问题--已解决

曲线名称 比如有ROC、AUC这个是什么

意义怎么分析

6.t-SNE可视化

通过视觉直观验证算法有效性，或者说是算法评估

t-SNE可视化

问题

好的算法是 把同个域的聚集到一起，把源域中的真脸和目标域中的真脸聚到一起？

解决的主要问题

大多数研究集中于寻找一个域泛化空间，很少工作关注FAS的特征提取过程，尤其是归一化

基于CNN的方法在跨数据集场景下性能会显著下降，原因是只关注了训练数据，忽略了源域之间以及位置域的域偏差

摘要

本文精力集中于特征提取过程中的归一化选择，设计了一个自适应归一化表达框架，会根据输入自适应选择归一化方法，还设计了双重校准约束，包括域内兼容损失和类内可分损失

 图1 将BN和IN在相同源域上训练

性能 左边：BN>IN 右边：IN>BN

分析原因 BN和IN的特性不同

BN	当未知域与源域相比有轻微域偏移时，BN表现更好，但是BN很容易被域信息影响，大幅域偏移->性能严重下降
IN	会消除每个样本的独特性信息，对域偏移更包容

BN和IN结合方法

主要贡献

• 从新视角，提出了自适应选择不同的归一化特征来获得判别性表示
• 提出了双重校准约束( Dual Calibrated Constraint)，以协助AFNM融合样本级BN和IN
• 多个实验和可视化揭示了自适应归一化的作用

网络结构

 

DCC聚合同一类的多源域样本并将正样本和负样本分开

问题

DCC模块 星星代表什么->重心 是怎么表示是不是同1类的->圆形和叉？

左边怎么没有画同一域到域重心的距离

元优化中 元训练会同时更新$$\theta_F$$和$$\theta_base$$，元测试只会更新$$\theta_F$$？

ANRL

框架 欺骗检测并消除域的变化

AFNM

对每个样本自适应结合BN和IN的特征

BN 转移到未知域时行不通->IN可以消除域偏差

问题

BN的作用是分类吗

IN的作用是消除域偏差吗

自适应结合时怎么做到的？-> 学习平衡参数流程：

1.global average pooling

达到通道级数据S

2.通过全连接层高效地生成表示Z

3.使用soft attention across channels

Soft Attention Model - 云+社区 - 腾讯云 (tencent.com)

4.计算第c个通道的归一化平衡参数

5.最终特征图根绝不同BN、IN特征图上的注意力权重获得

因为平衡参数是根绝不同域的每个样本生成的，AFNM可以自动选择BN和IN各自的比重，以获得更加泛化性的表示

DCC--从域和类同时约束特征

域内兼容损失 IDC	减少域内距离、分散域间的样本以促进多个域的融合（双向的）
类内分离损失 ICS	扩大正负样本间的距离

BN对域分布敏感->打乱域内分布以减小域差距

IDC

通过IDC，减轻了BN因域偏差造成的性能下降

ICS

攻击类型的多样性->假脸样本比较分散->对将假脸聚集不利

真脸分布相对稳定->可以提升紧凑性

因此类内距离只计算 Drr

通过ICS损失，模型强迫挖掘更多有判别性的特征将真脸和假脸分开，同时减小了真脸之间的差异

实验

训练策略

元学习通过模拟多源域偏移展示了对促进域泛化的能力->本文使用元学习策略更新AFNM模块

注意：仅使用元学习策略更新AFNM模块（参数记为$$\theta_F$$）

其余模块采用普通学习策略（包括特提器、深估器、二分器，参数记为$$\theta_base$$）

算法流程

实验设置

输入：256*256*6 (图片的RGB和HSV通道)

超参数：

$$\lambda_1$$=0.1

$$\lambda_2$$=0.01

学习率：0.01

评价指标：HTER(半总错误率)、AUC

实验结果

t-SNE可视化

问题

好的算法是 把同个域的聚集到一起，把源域中的真脸和目标域中的真脸聚到一起？

分析

特征图分析

图5->IN和BN的高权重通道都更多地集中在脸部区域（本质欺骗线索），可以在未知域泛化地更好

低权重通道更多地集中在背景，迁移效果不好

图6->BN和IN相互补充

平衡因子分析

低层特征包含了更多和域有关的变化

$$\alpha$$在浅层中趋向于0，低层特征倾向于用IN减轻不同域的域差异

高层特征用于分类，与BN的作用一致，

$$\alpha$$在高层中倾向于1

单词

Degradation 退化，衰退

eliminates 消除，排除

agnostic 未知的

discriminative 区别的，有识别力的

discrepancy 不一致，差异

vulnerable 脆弱的，易受伤的

disarrange 扰乱，弄乱

mitigate 减轻

corruption 破坏，损坏

stemming 阻止

intrinsic 内在的，固定的

complementary 相互辅助的

coincides 同时

prone 倾向