每天一篇论文 308/365 Pixel-Adaptive Convolutional Neural Networks

Pixel-Adaptive Convolutional Neural Networks

CODE:https://suhangpro.github.io/pac/

摘要

卷积是cnn的基本组成部分。它们的权重在空间上是共享的,这是它们广泛使用的一个主要原因,但这也是一个主要的限制,因为它使得卷积不可知论的争论。我们提出了一种像素自适应卷积(PAC)操作,这是对标准卷积的一种简单而有效的改进,在这种操作中,滤波器权重与依赖于可学习的局部像素特征的空间变化的核相乘。PAC是几种流行的过滤技术的综合,因此可以用于广泛的用例。具体地说,我们展示了PAC用于深关节图像上采样时的最新性能。PAC还提供了一种有效的替代完全连接CRF(Full-CRF)的方法,称为PAC-CRF,与Full-CRF相比,PAC-CRF具有竞争力,同时速度也快得多。此外,我们还证明了PAC可以作为预训练网络中卷积层的替换,从而获得一致的性能改进。

方法

在这里插入图片描述
在这项工作中,我们提出了一种新的内容自适应卷积层,解决了现有的内容自适应层的一些局限性,同时保留了几个有利的空间不变卷积性质。

双边滤波

https://blog.csdn.net/chenlufei_i/article/details/78897926

Pixel Adaptive 解析

  1. Pixel Adaptive CNN主要内容

这篇文章[1]来自CVPR2019, 主要提出了文中所称的“Pixel Adaptive Convolution(PAC)”模块,本质上是采用双边滤波的思想来扩展CNN中的标准卷积操作,而不仅仅只是考虑空间域卷积。下面简要介绍原文[1]的主要部分(即PAC模块),为了跟原文内容的一致性,下面的公式符号尽量与原文一致。令
vl=(vl1,vl2,…,vln),vli∈Rc
vl=(v1l​,v2l​,…,vnl​),vil​∈Rc,表示来自CNN中第ll层的feature maps,具有cc个通道;
Wl∈Rc′×c×s×s Wl∈Rc′×c×s×s,表示CNN的第ll层与l+1l+1层之间的卷积核,c′c′表示第l+1l+1层的通道数,ss表示卷积核尺寸;
pi=(ui,vi)T pi​=(ui​,vi​)T表示像素坐标,blbl表示偏置项;
Ω(i) Ω(i)表示像素ii周围s×ss×s的卷积窗口尺寸;
fi∈Rd fi​∈Rd表示像素ii的某种特征,例如在RGB图像中取fi=(ui,vi,ri,gi,bi)fi​=(ui​,vi​,ri​,gi​,bi​)。
则CNN中的标准空间卷积操作,可以表示为:
vl+1i=∑j∈Ω(i)Wl[pi−pj]vlj+bl∈Rc′(1)vil+1​=j∈Ω(i)∑​Wl[pi​−pj​]vjl​+bl∈Rc′(1)
为了融合像素的其他特征信息先验(可以来自网络学习的其他特征或者预先设定的特征),一种直接的方式就是使得卷积操作不仅仅是在空间上考虑,如下:
vl+1i=∑j∈Ω(i)W˜(fi−fj)vlj+blvil+1​=j∈Ω(i)∑​W~(fi​−fj​)vjl​+bl理想的类双边滤波的过程(不仅仅只是考虑空间域的滤波,例如同时考虑将该特征作为函数时,其值域空间的相邻关系),如果要对特征vljvjl​进行类双边滤波,一般会把vljvjl​投到高维空间中,如
vli↦(ui,vi,fi,vli)∈R1×1×dimfi×dimvlivil​↦(ui​,vi​,fi​,vil​)∈R1×1×dimfi​×dimvil​ 因为在高维空间中更加容易把特征点集{vli}i{vil​}i​,但是把vljvjl​投射到高维空间中,会使得点集{vli}i{vil​}i​在高维空间中非常稀疏和不规则,使得标准的卷积操作不太容易实现,也即使得W˜(fi−fj)W~(fi​−fj​)的计算相当困难。

发布了131 篇原创文章 · 获赞 10 · 访问量 7677
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览