《Fourier-transform-based attribution priors...》阅读笔记

《Fourier-transform-based attribution priors improve the interpretability and stability of deep learning models for genomics》阅读笔记

1 动机

1） 基于卷积神经网络的深度模型目前在基因序列研究领域的归因分析中取得了最好表现；

2） 由于噪声的影响，归因结果很可能是由错误信息所得到，从而可能使训练好的模型做出不正确的预测。

观察上面那张图，作者在没有施加傅里叶先验的实验上发现出现了两种缺失情况，一是没能识别到有意义的碱基序列，导致转录因子丢失（motifs），二是识别到了噪声归因而进行了错误的分析。

2 贡献

1） 将傅里叶变换用于归因先验，提出高频噪声去噪方法去除噪声；

2） 在多个方面评价了高频傅里叶去噪方法的效果。

3 方法

本文训练的模型是一个用于基因序列识别即后续应用的模型，输入是一个onehot编码序列$x$，表示一个碱基序列，$y$代表标签信息，$f$表示预测函数，$g(x,f)$代表一个归因得分模型，输出一个与$x$长度相同的序列，表示每个位置的碱基对于预测结果的归因得分。这个模型的损失由两部分组成：
$$L(x,y,f)=L_c(f(x),y)+\lambda L_p(g(x,f))$$
第一项控制预测的准确性，第二项是一个归因先验损失，包括权值$\lambda$。

本文使用的方法就是对$g(x,f)$进行傅里叶变换，得到多个正频率分量$m_1,m_2,...,m_L$，使用一范数进行归一化（${\hat{m}}_i=m_i/{||m_i||}_1$）得到单位频率信息${\hat{m}}_i$，这里$i$表示频率分量的索引，$i$越小，代表频率越低。

之后，基于衰减高频成分的思想（一般噪声信息都是高频的）构造归因先验损失：

用一个超参数$s$控制衰减程度，这里的$T$是可以被认为是一个有效转录因子的最短序列长度。

4 实验

本文的优点在于做了大量实验说明其方法的有效性，由于非医学背景出身，不解读实验细节，只解读实验效果

4.1 傅里叶先验成功进行了去噪

左边的A、B图计算的是高频成分之和以及香农熵，可以发现多次实验结果都集中在45°线下方，说明使用傅里叶先验有助于减少高频信息和香农熵。图C显示施加傅里叶先验之后，模型对于转录因子的识别更加集中和明清晰，有效突出了转录因子对应的碱基队列。

4.2 傅里叶先验提高了模型的敏感性和特异性

观察图A，没有施加傅里叶先验去噪的模型只识别出了一个转录因子对应的序列，而加了的识别出了额外的两个序列；图B的含义是，使用傅里叶先验的模型对监督信息的利用程度更高，假如给模型输入已经发现过的转录因子信息，施加傅里叶先验的模型可以更好地从测试集中发现更多的转录因子对应序列。

4.3 傅里叶先验提高了二元模型预测的准确性

使用傅里叶先验的模型在二元测试上具有更好的预测准确性，更小的loss即更强的泛化能力。

4.4 傅里叶先验提高了归因得分的稳定性

%85%E8%AF%BB%E7%AC%94%E8%AE%B0/7.jpg" style=“zoom: 67%;” />

使用傅里叶先验的模型，具有更高的归因稳定性，也就是能够进行更稳定的归因，在使用不同随机初始化以及不同数据量的样本时，在多个模型上，使用傅里叶先验的模型对于同一个因子的归因得分具有更高的相似性。