PFF阅读笔记

• PFF到写博文为止仍是set5-upscaling的冠军：https://arxiv.org/pdf/1811.11482v1.pdf
• 
• 采取L1loss，加上正则化项
• 网络产生的是filter，用filter来“卷积”LR得到HR'，将HR'与HR计算loss
• 之所以是“卷积”，是因为，每个pixel的neighbor pixels group乘的不是同一个filter，比如，如果im的size是100*100，filter的size是20*20，那么网络最终输出的是400*100*100的立方矩阵，第三个channel的400个数来和对应位置的20*20个neighbor pixels展平的vector来做inner product，原文解释是这样的：
  
  “ if the filter size is 20×20, the last layer of the CNN model fw(·) outputs a three-dimensional array with a channel dimension of 400, which is comparable to feature activations at a single layer of typical CNN architectures ”
   
• 模型可以很容易地给filter做限制，比如要求filter参数和为1且都为正，那么只要在CNN的最后一层输出加上基于channel方向的softmax即可
• 模型architecture看图就行了，基本算典型的2-stream模型
• 模型的输入是原始清晰图片先缩小4倍再插值放大4被得到的
• 从SRGAN的论文拿出来比较，其PSNR和SSIM值比SRGAN的结果要高
  
• 论文后面有关于filter可视化的过程，第三个过程是对于一张图片先forward出它的filter，然后将这些filters做k=400的k-means，赋予每个centroid一个颜色，最后可视化的图片每个像素点的值取的是它对应的filter对应的nearest centroid对应的颜色，第二个过程是取k-means的前10个filter查看参数的热图，第一个过程是把这400个filter通过某些方法映射到2D平面上