原文地址:Attention U-Net: Learning Where to Look for the Pancreas paper
贡献
- 论文采用Learn to Pay Attention 中提出的注意方法,进一步提出基于网格的门控,使注意系数特定于局部区域。与基于尺寸特征向量的门控比例,这提高了性能最大化,方法可用于密集预测,因为不执行自适应池。
- 论文提出了应用于医学成像任务的前馈CNN模型中软注意技术的第一个用例之一。提出的注意力门可以取代图像分类中使用的硬注意方法和图像分割框架中的外部器官定位模型。
- 建议对标准U-Net模型进行扩展,以提高模型对前景像素的灵敏度,而无需复杂的启发式算法。
注意力机制
顾名思义,注意力机制是本质上是为了模仿人类观察物品的方式。通常来说,人们在看一张图片的时候,除了从整体把握一幅图片之外,也会更加关注图片的某个局部信息,例如局部桌子的位置,商品的种类等等。在翻译领域,每次人们翻译一段话的时候,通常都是从句子入手,但是在阅读整个句子的时候,肯定就需要关注词语本身的信息,以及词语前后关系的信息和上下文的信息。在自然语言处理方向,如果要进行情感分类的话,在某个句子里面,肯定会涉及到表达情感的词语,包括但不限于“高兴”,“沮丧”,“开心”等关键词。而这些句子里面的其