两周阅读总结

关于「模型微调（Fine-tune)」

• 什么是模型微调（fine-tune）？
• 为什么需要微调？
• 什么情况下使用微调？

什么是「模型微调」？

就是在预训练的模型上，重新训练预训练模型的顶层，得到适用于新数据集级的模型权重。相对于从头开始训练，微调可以省去大量计算资源和计算时间。

为什么需要「微调」？

卷积神经网络的核心是：

1. 浅层卷积层提取基础特征，比如边缘，轮廓灯基础特征。
2. 深层卷积层提取抽象特征，比如整个脸型。
3. 全连接层根据特征组合进行评分分类。

在已经训练好的预训练模型中，已经具备了提取浅层基础特征和深层抽象特征的能力。
因此不做微调有一下缺点：

1. 比起从头训练，需要更多的数据、计算时间和计算资源。
2. 存在模型不收敛，参数不够优化，准确性低，模型泛化能力低，容易过拟合等风险。

什么情况下使用「微调」？

1. 使用的数据集和预训练模型的数据集相似。
2. 自己搭建的网络准确率较低。
3. 数据集相似但是数据集数量太少。
4. 计算资源少

关于「模型修剪（Prune）」

根据后门模型在良性输入上，后门神经元不会激活，而后门图像会激活的特点，通过移除这些良性输入上休眠的神经元来达到防御后门触发器攻击的目的，这就是模型修剪。

模型修剪的适应性攻击–Pruning-Aware Attack

可以通过将干净神经元和后门神经元都投射到相同部分的神经元上，来规避模型修剪的防御。

关于「精细修剪（Fine-Pruning）」

Fine-tuning对后门神经元的影响不大，这是因为在干净输入时后门神经元是休眠的，微调过程对于更新后门神经元的权重没有刺激，只会保持不变。精细修剪是结合了Pruning和Fine-tuning的防御后门触发器攻击的方法，它首先使用模型修剪，然后使用微调修复修剪所导致准确率下降，这种方法对Pruning-Aware Attack是同样有效的，这是因为，修剪去除了攻击者放置的休眠神经元，然后在微调时，由于后门模型的干净神经元和后门神经元是重叠的，因此干净输入也同样能激活后门神经元，因此微调能够更新后门神经元的权重。

Explaining Image Classifiers using Statistical Fault Localization

作者	篇名	期刊或会议	时间	页码
Youcheng Sun,Hana Chockler,Xiaowei Huang,Daniel Kroening	Explaining Image Classifiers using Statistical Fault Localization	European Conference on Computer Vision	2020	391-404

创新点

基于统计故障定位的黑盒解释技术，开发了DeepCover–一个为分类图像的DNN提供解释的工具。

关于「统计故障定位（SFL）」

传统的SFL技术是软件开发中，应用于检测导致程序故障点的技术，技术的想法就是对导致故障的程序元素进行排序，从高到低。具体来说，对程序的一个输入，程序元素的可疑得分由一组参数计算得出，分别为$e_p,e_f,n_p,n_f$，e表示执行，p表示通过，n表示不执行，f表示失败。

在DNN的可解释性构想中，目的是寻找对特定DNN的特定输入产生特定输出的原因的解释。具体是，通过给定一组随机变化生产的图像T(x)，这些图像是原始图像中某些像素被遮掩或者未遮掩的图像，将这些图像输入DNN模型中，得到的分类结果是与真实标签相同和不同的二元结果，再根据遮掩与未遮掩的像素（单个）二元类别，可以得到四个输出结果：

• $a_{ep}^i$是T(x)中标记为y的变化的数量，其中pi没有被屏蔽；
• $a_{ef}^i$是T(x)中标记为¬y的变化的数量，其中pi没有被屏蔽；
• $a_{np}^i$是T(x)中标记为y的变化的数量，其中pi被屏蔽；
• $a_{nf}^i$是T(x)中标记为¬y的变化的数量，其中pi被屏蔽。

得分可以由下面的公式计算：

构建解释的方法是，按照像素排名的递减顺序（也就是说，我们从排名最高的像素开始）将其加入到这个集合中，直到这个集合足以让 DNN 对图像进行分类。这个集合将作为一个解释呈现给用户。
算法如下：

实验结果：

DeepCover生成的可解释图像

图2：DNN在不同训练阶段的说明：第1列是原始图像，后续列给出了特定训练迭代的解释（CIF AR10验证数据集）

说明随着训练程序的进展，DNN的决定的说明更多地关注输入图像的“有意义的”部分。

后门检测

阅读感想

是否可以对输入特征重要性排序来区分后门触发器图像呢，在一类带触发器的图像的一批数据中肯定具有少量且重要的特征，因此在一批数据中，如果能对每一类别的所有特征进行重要性排序，并且能够区分不同的特征图，那么少量且重要的那一部分特征就是后门图像，或者是一些无关紧要的特征。