Multi-level semantic adaptation for few-shot segmentation on cardiac image sequences

0.基础知识点介绍

few-shot / one-shot segmentation 小样本学习
利用很少的 support set（其中few 代表很少的数据 one 好像是真的是用了一张带有标签的数据进行训练然后在尝试进行分割例如（One-Shot Learning for Semantic Segmentation，相应 k-shot 对应的就是k张图片和）） 进行学习来对query set上的目标结果进行分割。
实现方法：

1. 其实很自然的就可以想到通过对于一个预训练模型（pre-trained model ）进行微调（fine-turning）来实现 显而易见一张图片对成千上万的参数进行训练很容易导致过拟合 还有一些其他的方法就不详细介绍了
   

2. 直接进行特征学习
   

1.作者介绍

Saidi Guo, Lin Xu， Cheng Feng , Huahua Xiong, Zhifan Gao, Heye Zhang
都是国人 主要是中山大学 联合 深圳第二人民医院等单位发表的

2.贡献

本文首先指出小样本分割存在的问题 也就是空间分布偏差（例如不同成像方式导致图片的间距不同）和长期信息偏差（噪声和失去结构信息 ）（spatial-temporal distribution bias and long-term information bias.。 根据上述提出了MSA（multi-level semantic adaptation） 而且其level 是分成了序列 帧 和像素
其次对这三个进行权重讨论（雾 这也能算）
2. the MSA proposes the hierarchical attention metric to address the long-term information bias.提升了边界区分的能力

3方法

方法的总图 给我一种迭buff 的感觉卷积层 然后是ConvLSTM 然后Attention 要素加满的感觉

Our method achieves the few-shot segmentation on cardiac image sequences by imposing
the domain adaptation and the weight adaptation in multiple levels（通过domain adaptation 和 weight adaptation ）的方法进行。
主要包括 dual-level feature adjust（通过帧和序列的层次避免了空间和时间上的偏置，提升了domain adaptation（怕有的同学不知道哦 domain adaptation的loss其实可以理解为两个domain直接的差距）的loss）ment ，方法是计算了特征的embedding（） 的均值然后在最小化
and hierarchical attention metric（再发上述的两个不同的层次分配权重来提升分割的精确度）.所有的定义在原文中都给出了 如果有不太了解的地方建议学习。

看了上述之后感觉比较有意思点：
1.他是有个Cm 是什么embedding center ？
2.而且特地挑选了不同模态的图像。hierarchical attention 倾向于相似帧 和 区域 所以我猜训练的时候应该是一个two-stage 的过程
Multi-level semantic adaptation 居然真的用query support的序列对进行训练 对于一个序列对e(i) 设计的loss

后面各种对比就不介绍了 看一眼五个病人左右的图片就可以做到Dice 0.8到0.9 感觉调参估计很难 嘤嘤嘤 HD的相关结果不太行

总而言之 我觉得很强是迁移学习 加上小样本 加上各种buff