反伪造:Face X-ray
文章来源:https://arxiv.org/pdf/1912.13458.pdf
Intuition
大部分的人脸伪造算法都具有相同的步骤:将一个修改后的人脸图像放在另一个背景图像中,如下图所示
而这两张图像由于采集或生成方式的不同,某些性质可能有差异,如果成功检测出这些差异,不仅可以判断人脸是否是伪造的,还可以确定图像融合的边界。
下图展示了伪造人脸和背景两个指标的不同。
fomula
人脸融合的公式如下
其中IM是融合后的图像,IF是前景图像,IB是背景图像,M是掩码(mask),M每个元素的取值是0~1.
定义face X-ray如下
Mij取0.5时,Mij*(1-Mij)最大为0.25,为了让B归一化到0~1范围内,需要乘系数4。B就是face X-ray,它是一张显示前景与背景边界的图像,如下图
只有假脸的face X-ray才有轮廓,真脸的face X-ray 全黑
Training
输入一张人脸,输出其对应的face X-ray和表示真假的变量。
可以直接在真实人脸数据集里生成训练数据集。步骤如下:
1,对于一个背景图像IB,根据其人脸关键点的位置在剩余的数据集里找100个最近邻,并从中随机选择一个作为前景IF.
2, 用凸包围住IB人脸关键点,此为原始的M。因为实际应用中被替换的区域形状不一,因此要对原始的M上作形状的随机变换生成最终的M。
3,根据上述两个公式融合人脸和计算B
整个过程如下图. 虽然只用一种方法生成假人脸,但实验证明该网络能很好地应用在其他方法生成的假人脸。
my opinion
…
表情识别:self-cured network.
文章来源:https://arxiv.org/pdf/2002.11841.pdf
Intuition
现有的表情识别数据集都比较’脏’,所以需要一些方法来改善这种情况
Network
在基础的CNN结构上加入三个模块:
1,Self-Attention Importance Weighting: 给batchsize张图像赋予权重,使不确定样本对应的权重小。
2,Rank Regularization:为了进一步限制不确定样本占的权重,增大确定样本和不确定样本平均权重的差距
3,Relabeling: 对不确定样本重新标记
Self-Attention Importance Weighting
由backbone输出
D
×
N
D\times N
D×N的特征向量x,N为batchsize,用一层sigmoid全连接网络来生成x的权重,公式如下
得到每个样本的权重后,就对样本的损失进行加权:
这里不采用简单的相乘加权,而是更复杂的形式。上式W表示网络最后一层全连接层。
Rank Regularization
按权重对样本降序排列,根据比例
β
\beta
β划分确定样本组和不确定样本组。希望两组的平均权重之差越大越好。这里提出了RR-Loss:
式中
β
×
N
=
M
\beta\times N =M
β×N=M,
δ
1
\delta_1
δ1为超参数
总的损失函数
L
a
l
l
=
γ
L
W
C
E
+
(
1
−
γ
)
L
R
R
L_{all}=\gamma L_{WCE}+(1-\gamma)L_{RR}
Lall=γLWCE+(1−γ)LRR
Relabeling
对最大预测概率远大于标签概率的样本重标记:
其中
P
m
a
x
P_{max}
Pmax是网络预测的最大概率,
l
m
a
x
l_{max}
lmax是最大概率对应的标签。
l
o
r
g
l_{org}
lorg是训练集给的标签,
P
g
t
I
n
d
P_{gtInd}
PgtInd是网络预测
l
o
r
g
l_{org}
lorg的概率,
δ
2
\delta_2
δ2是阈值,超参数
最后,整个网络如下图所示
my opinion
一些tricks而已