【主动学习 07】Fine-tuning Convolutional Neural Networks for Biomedical Image Analysis...(CVPR 2017 oral)

Fine-tuning Convolutional Neural Networks for Biomedical Image Analysis: Actively and Incrementally CVPR’2017

上篇ADMA中实验对比的二分类Baseline AIFT（Active incremental fine-tuning method）就来自这篇，这里的AIFT算法并不是着重于主动学习查询策略，而是在“预训练模型上持续的主动学习fine-tuning”这个概念，并且是零样本启动。这篇工作里的主动学习算法也是结合Uncertainty和多样性，这里的多样性是根据一个样本做图像变换后模型预测一致性得到的。

这篇文章的further work就是如何确定Uncertainty和Diversity的权重比例，ADMA就用一个dynamic trade-off来解决了，但还是那个问题，ADMA没有实验，只存在于讲故事阶段。这篇实验就非常多。

Data argumentation

医学图像标注一张X光30RMB，一张CT70RMB，所以要做data argumentation。文章中的医学图像有些令人不适，换一张可爱点的图片说明。

图片做变换后标签应该是不变的，如果标签不一致，说明这个图片是“hard example”，有利于提升CNN的性能，作者基于此提出了Diversity的指标。

但是也有可能是产生了噪声样本，如上图第一排所示，变换后的图片看起来也很像松鼠。作者又提出majority selection来解决噪声样本。

AIFT

对于一个candidate样本，经过数据增强之后会得到一组patches，这些patches继承了原样本的标签。公式化描述就是给定一组candidate： U = { C 1 , C 2 , … , C n } \mathcal{U}=\left\{\mathcal{C}_{1}, \mathcal{C}_{2}, \ldots, \mathcal{C}_{n}\right\} U={ C1​,C2​,…,Cn​} ，其中$n$表示样本的个数，每个candidate由$m$个patches组成：${\mathcal{C}}_i=\left\{x_i^1,x_i^2,\dots ,x_i^m\right\}$。那么AIFT算法：

这个算法着重强调了Continuous fine-tuning，因为这篇文章比较早的提出了这个概念，我们现在看觉得没什么。我们主要关注主动学习策略。

Active candidate selection

一个样本是否也能够该被查询的得分由它的patches计算得来，评估这些patches又依赖两个指标：Entropy和Diversity。

假设patch $x_i^j$和$x_i^l$来自同一个candidate $C_i$， $x_i^j$经过当前CNN的预测结果为$p_i^j$，此时patch $x_i^j$的Entropy定义如下：
e i j = − ∑ k =