KDD_2018_notes Smoothed Dilated Convolutions for Improved Dense Prediction

前言

笔者重温了机器学习相关的一些算法后，打算来看一些数据挖掘领域的论文，会写一些笔记来记录。先从KDD 2018入手。
本文要介绍的是一个空洞卷积(Dilated Convolutions)的改进方法。

空洞卷积存在的问题

对于空洞卷积来讲，卷积后的 feature map 中，相邻两个 pixel 来自于上一层 feature map 中完全不同的两组点，因而很容易造成网格状态

论文给出的改进方法

空洞卷积分解

原文认为，空洞卷积存在这样的问题是由于其没有考虑到卷积前的 feature map 中相邻像素的关联性与一致性。
我们先将空洞卷积进行分解，它等价于下图的过程

空洞卷积被分解为了3个步骤：

1. 周期采样。采样次数取决于 dilation rate $r$，最终产出 $r^d$ 个采样后的结果，其中$d$表示输入尺寸的维度
2. 共享卷积。对采样得到的 feature map， 我们用相同的卷积核分别对它们进行卷积
3. 重新交织。对卷积后得到的结果，我们再重新将它们交织在一起，得到最终结果

#直接看上图比较好，直观得多
原文提出了两种改进方法，核心思想都是要利用