这一期来分享一下图像处理方向的相关工作
《ClassSR: A General Framework to Accelerate Super-Resolution Networks by Data Characteristic》
这是SIAT和中科大合作的乔宇,董超组的工作
主要思路: 将图片切成3232的小块,过一个难度分类网络,再过对应不同难度的超分复原网络;以此挖掘网络更强的学习能力
1.将3232小块按一定倍数超分(4X),然后跟Label比较,再根据PSNR阈值划分为难中易三个类别;训练分类网络引入全局约束,以防所有块偏向用复杂度高的复原网络
2.再将三个类别的块放入不同复杂度的超分网络去训练复原
3.实验结论针对4K以上的大图包含更多简单平滑块,效果会更明显; Flops减半,性能还稍微提高了
《Learning Continuous Image Representation with Local Implicit Image Function》
NVIDIA与王小龙合作的Oral工作
主要IDEA:从深度网络中构建层模拟连续的自然世界信号复原
1.区别于固定倍数的超分网络,该方法是连续像素估计的生成模型,可用于超大倍数的超分(32X)
2.主要用五层MLP建模拟合数据
《Pre-Trained Image Processing Transformer》
1.用Transformer替代CNN层完成信号处理任务
2.单一模型的多模态输出
3.训练用1兆自然图片,将图片切成
48
∗
48
∗
3
48*48*3
48∗48∗3,拉成向量放入网络训练