Fast Image Processing with Fully-Convolutional Networks

• 研究目的

使用CNN模拟传统图像处理中的各类算子，加速处理图像的速度

---

• 数据准备

input数据是样本对集（I，f（I）），I为各分辨率图像， f（I）是经过对应算子处理过的结果，即标签

---

• 损失函数

回归的均方差损失函数

---

• 网络结构

网络使用扩张卷积，示意图中以6层网络为例

实际网络结构如下：

网络中间层通道数为w，w>3，dilatation值逐层指数级增加，倒数两层dilatation为1。

最后一层卷积核为1x1，用以减少通道数至3，其余层都是3x3

---

• 训练相关

为保证训练出的模型适用于各种大小的图片，训练时会将图片随机resize到任意大小（不改变纵横比）

该模型还使用了自适应的BN以代替传统BN

和传统BN作用于各层非线性函数（该网络使用leaky RELU）之前不同，AN作用于非线性函数之后

---

• 网络扩展应用

  • 参数网络

  在原有input图像RGB三通道的基础上增加一个通道，训练时该通道的值随机取，使得用该网络inference时，可通过调整该通道的值控制图像处理结果的优劣

• 单模型模拟多种算子（paper中模拟10种）

上文所述的都是用网络模拟单一算子的效果，实际上可以实现单网络模拟多算子，以10种为例。在原有input图像RGB三通道的基础上增加10通道。生成训练数据时，随机选择一种算子，同时将对应通道都设为1，其余通道为0（类似分类用的one-hot标签）。这样可以使得在inference阶段通过人为设定10通道的值选择对应的算子。同时inference时，这些通道可以不遵守one-hot要求（e.g.[0.7,0.3,0,0,…,0]），获得多算子叠加的过渡效果。

• 作用于视频