每天一篇小文章---交互式小样本学习：有限的监督，更好的医疗图像分割_interactive few-shot learning: limited supervision-CSDN博客

原文：Interactive Few-shot Learning: Limited Supervision, Better Medical Image Segmentation

作者：Ruiwei Feng*, Xiangshang Zheng*, Tianxiang Gao*, Jintai Chen, Wenzhe Wang, Student Member, IEEE, Danny Z. Chen, Fellow, IEEE, and Jian Wu B, Member, IEEE

背景：

目前的医疗图像分割主要存在以下两个主要的问题：1、训练通常采用全监督的模式，需要大量的数据集和费时的标记，2、在某些特定的稀少疾病中，难以获得大量数据。

采用传统的few-shot算法的问题在于：模型通过多个任务训练，积累了多个任务的共同特征，但是无法处理某一任务的独特特性，尤其是在医疗图像中更加明显；

解决的总体思路：

在数量有限的样本中加强获取共同特征的能力：提出 Medical Prior-based Few-shot Learning Network (MPrNet)

加强在有限标记的目标样本中获取特性的能力：把交互学习（Interactive Learning）引入到few-shot 任务中，提出 Interactive Learning-based Test Time Optimization Algorithm (IL-TTOA)

那么具体如何实现呢？

Q: MPrNet 网络如何提高获取共同特征能力？

网络结构：如下图所示，网络由ENCODE 和 DECODE两部分组成，其中ENCODE分为两条分支：空间分支（Spatial branch，主要用于抓取图像的空间特征，如组织的位置信息，由四个5×5的卷积层组成，较大的卷积核能够（接受场，receptive fields）增加对全局空间特征的重视，而小量级的结构能够减少计算权重的困难）和纹理分支（texture branch，提取图像细节纹理特征，由四个重复的卷积块构成，每个卷积块由两个3*3的卷积核，一个RELU和一个maxpool层组成，模仿VGG），其中Query set 和 Support set共享纹理分支权重，而空间分支的特征通过“通道挤压和空间激励”（Channel Squeeze & Spatial Excitation，sSE）加入到Query分支中。

信息交互与连接： 1、空间支路与查询支路的连接，有利于空间位置和纹理特征的结合；2、查询支路与纹理支路的连接：共享参数；3、“通道挤压和空间激励”（Channel Squeeze & Spatial Excitation，sSE）：特征合并;

相似性函数融合：对于query set 的每一个样本，需要在support set里面寻找对于的特征，这类似于孪生网络，根据相似度，作为考虑query所提取的所有特征的注意权重；

专家交互修正机制：Interactive Learning-based Test Time Optimization Algorithm，在目标任务中取部分数据作为交互数据集，对于预测的结果进行专家手动修正：校正为正确的像素设置为1，校正为错误的像素设置为−1。其余未校正的像素设置为0。把矫正之后的蒙版和训练结果进行叠加，就能得到准确的LOSS值。但是文章中提到，不仅要考虑专家的意见，还要考虑训练过程中学习到的共性，故把LOSS函数设置如下：

其中，前半部分来自于专家的修正，后半部分来自于训练过程中所学习到的重要性：Memory Aware Synapses (MAS)，表达式如下：

其中，gi,j(xpi)为梯度更新前后的网络参数θi和θj在相同的像素输入xpi得到的输出值；

实验结果表明：利用MPrNet网络框架比之前的sSENet和PANet具有更高的精确的，而且增加IL-TTOA这种专家交互矫正机制后，正确率能够普遍提高10％左右；

相关工作：针对医学图像样本少和标记困难问题的研究，写的蛮好的！

1、样本获取困难问题：

解决方案：few-shot learnning、数据增强

[20] S. Kadam and V . V aidya, “Review and analysis of zero, one and few shot learning approaches,” in International Conference on Intelligent Systems Design and Applications, pp. 100–112, Springer, 2018.
[21] Y . Wang, Q. Yao, J. T. Kwok, and L. M. Ni, “Generalizing from a few examples: A survey on few-shot learning,” ACM Computing Surveys(CSUR), vol. 53, no. 3, pp. 1–34, 2020.

2、数据标记困难问题：

解决方案：主动学习（active learning，挑选部分更有价值的样本以更加高效率的方式进行标注）、交互学习（interactive learning，通过专家交互地改正训练预测值）

3、平衡数据集（标记量和数据量）和训练效果之间的矛盾问题