论文笔记 (HAttMatting)

1. 搞清楚 PFD 的 input，output大小，形式。
2. 搞清楚本步骤作用
3. 搞清楚如何实现的？具体流程
4. 搞清楚关键字：channel-wise attention

Shared MLP

MLP (Multilayer Perceptron) 多层感知器

• 使用全连接层（fully connected layer）

• 只接受向量（vector）作为输入

• 包含输入，隐藏和输出层

• 是CNN的一种特殊结构

• 适用于分类，自然语言处理

CNN (Convolutional Neural Network) 卷积神经网络

• 局部连接层（locally connected layer）

• 可接受矩阵（matrix）作为输入

• 适用于图像处理

 

Channel-Wise Attention

出处：SCA-CNN：

注意力机制的逻辑灵感来源于人类的注意力机制：对于重点信息的重点注意。就好比我们看一份报纸，第一个进入我们注意力的一般是文章的标题或者大幅图片的目标主题，然后我们的视觉才会顺着这个视觉焦点查找有用信息。正是对重点信息的重点注意，能让人类快速抓住信息本质，更加高效的理解信息框架。深度学习中的注意力机制本质上，正是对所提取的重点信息，进行