项目地址:https://gitcode.com/google/hdrnet
hdrnet作为超分领域的经典文章,由google提出主要用来用轻量化的方法来实现高分辨率的图像生成,hdrnet结合cnn可以让更高分辨率的图像部署在板端。
如图所示,原始图像比如4k图像,首先分为两个主要模块:grid和guide。
grid就是对应图上面的那一条特征提取网络,具体来说,原始图像经过下采样之后,默认256分辨率送入一个特征提取模块,这里考虑到了全局和局部特征提取,后面作者也专门对这个做出了实验,如果不加入全局特征提取模块的话,最后生成的结果会出现明显的影块。经过这样的全局加局部的特征提取之后,最后卷积成96通道(默认)。然后会view成(1,12,8,16,16)。这个比较好理解吧不多说了。
其次就是guide,这种思想不得不提到何凯明大神的引导滤波,思想都是相似的,这里的guide用的具体的方法可以查看源码,不管是guide还是gride其实都可以根据需求和实验选择。
主要说一下生成了grid和guide之后的处理方案-slicing。
关于slicing是相对比较复杂的,这里直接贴手写的图片。
这里完成slicing之后还有一个apply操作最后就直接输出了。