8/17 (arXiv2020) Feedback Graph Attention Convolutional Network for Medical Image Enhancement

Q1: 图像增强是指什么？

图像在环境，光线的影响下，造成图像模糊不清晰，对比度低，图像增强的目的就是 利用某种手段提高图像的对比度，突出图像中人物或物体，有利于后边的识别等处理。

Q2：自相似先验知识

绿色的三个框，场景内容一样，分辨率不一样

蓝色的三个框，分辨率一样，但是某些区域在这张图像有，另一张图像没有，就是不同的位置丢失信息不一样。

自相似性作为约束做图像超分。

本文方法将先验知识放入网络中，构造图卷积神经网络，自己学习自相似先验知识（pach之间的相似性以及相似性程度）

本文提出Feedback Graph Attention Convolutional Network (FB-GACN),为了更好的利用全局结构信息和纹理细节。

Q：全局结构信息（如何表示）？纹理细节（如何表示）？ 是如何利用的？

Key Innovation：图像patch特征作为节点构造图网络来考虑全局结构相似性，通过相似性进行非局部的连接。

网络主要由三部分组成：

①图相似性branch：利用低分辨率图像patch之间的相似性和对称性进行建模，并为content branch提供额外的先验来增强纹理细节。graph attention machanism利用相似patch特征之间的权重组合更新每个node的特征。

②具有递归结构的feedback machanism，生成更加丰富的纹理细节。

Q：对称性是如何体现的？

 Q：A long skip connection is added to pass the upsampled LR image to the output result as  we only want to learn the residual modififications.

为了增强特征的表达能力，将输入特征转换为高层特征，需要一个可学习的线性变换，为了达到该目的，作为初始步骤，一个共享的线性变换，参数化为weight matrix W，应用到每个节点上。然后在每一个节点上，进行self-attention:计算attention coefficients

本文采用反馈机制，通过按时间序列的方式用高级信息细化低级表示来恢复纹理细节

GAT:https://github.com/PetarV-/GAT

https://github.com/Diego999/pyGAT

https://github.com/danielegrattarola/keras-gat

 

https://www.cnblogs.com/wangxiaocvpr/p/7889307.html