VSR_TGA：Video Super-resolution with Temporal Group Attention阅读

这是CVPR2020的一篇视频超分辨文章，由清华和华为公司联合完成。
代码链接：https://github.com/junpan19/VSR_TGA

文章思路

文章主要特点是提出一个分组分层提取时间信息的策略。
具体的实现过程：
1）首先讲=将输入的视频帧根据到目标帧的距离远近，分为不同的组别，比如七帧的输入[1，2，3，4，5，6，7]，分组后的结果是[1,4,7]，[2,4,6]，[3,4,5]，每一组中都含有目标帧，这是必须的，不然无法指导目标帧有效的超分。（这种分组效果相当于产生了不同帧率的视频。可以理解为不同运动幅度的视频，可以较好的处理大幅度运动的情况吗？？？，如果能这样理解的话也不合理，比如我一次输入七帧，不进行分组，那最边缘的帧相对于中间的目标帧而言也是大幅度运动情况。这种分组策略可能有一定的效果，但更多可能还是要以原始视频为准。如果大家有不同的理解可以提出。）
2）然后将分组后的视频帧分别送入一个组内模块中，进行时空特征提取与融合，然后每组分别产生处理后的特征。
3）接着执行组间的融合（为什么要进行组间融合？因为每组中都使用了不同的近邻帧，这些近邻帧信息也或多或少会指导目标帧实现更好的超分，所以需要将不同组中得到的特征再进行融合，这样就能利用到所有输入帧的信息了）
4）最后使用亚像素卷积实现上采样，然后与目标帧插值上采样的结果相加得到最后的超分结果。
此外，为了处理大幅运动的视频，作者提出了一个快速的对齐模块。
网路的整体架构如下图：