Dilation卷积与IDCNN 笔记

最新推荐文章于 2024-01-08 15:58:20 发布
最新推荐文章于 2024-01-08 15:58:20 发布
阅读量4.5k 收藏 6
点赞数 2
分类专栏： NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_38088359/article/details/83540109
版权
本文介绍了Dilation卷积（空洞卷积、膨胀卷积），它在不丢失信息的情况下扩大了神经网络的感受野。同时，文章还探讨了IDCNN（Iterated Dilated CNN）的结构，由多个膨胀卷积块组成，各层膨胀卷积的rate可变，通过通道维度进行拼接。
摘要由CSDN通过智能技术生成

0、前言

Dilation 卷积，也被称为：空洞卷积、膨胀卷积。
在神经网络中，通常利用卷积来实现数据的特征提取。卷积层还有一个权值共享的原则：每个神经元只关注一个特征。

卷积完经过激励层做一个非线性映射，输出到Pooling layer。

池化层的作用：
(1)压缩数据和参数的量，减小过拟合。
(2)增大感受野。
主要两种方法：Max Pooling 和 Average Pooling

1、Dilation卷积

膨胀卷积的好处是不做pooling损失信息的情况下，加大了感受野，让每个卷积输出都包含较大范围的信息。在自然语言处理中需要较长的sequence信息依赖的问题中，都能很好的应用。

tensorflow中的代码为：

tf.nn.atrous_conv2d(
    value,
    filters,
    rate,
    padding,
    name=
最低0.47元/天 解锁文章
Juanly Jack
关注
专栏目录
31、卷积 - 参数 dilation 以及空洞卷积
AI与算法都要通俗易懂
12-11 1540
想象一下，你有一个超大的图像，普通卷积核可能无法捕捉到足够多的信息。这时，空洞卷积就派上用场了，它拥有更大的感受野，帮助模型处理大尺寸的输入数据。
【DL】卷积膨胀 Dilation
北境の守望者
05-07 7632
Backto DeepLearning Index dilation dilation 是对 kernel 进行膨胀，多出来的空隙用 0 padding。用于克服 stride 中造成的 失真问题。 对应关系是 kd=(k−1)×d+1k_{d} = (k -1)\times d + 1kd​=(k−1)×d+1, 对原始kernel 进行 d 倍 dilation 之后得到新的 kdk_d...
卷积核膨胀（dilation）解析
热门推荐
wangyuxi__的博客
10-10 3万+
本文转自http://blog.csdn.net/tangwei2014和https://blog.csdn.net/jiongnima/article/details/69487519，转载目的便于自己查看学习 第一位大神解析： deeplab发表在ICLR 2015上。论文下载地址：Semantic Image Segmentation with Deep Convolutional Ne...
卷积膨胀 Dilation
qq_42251157的博客
05-26 324
Dilation dilation 是对 kernel 进行膨胀，多出来的空隙用 0 padding。用于克服 stride 中造成的 失真问题。
详解卷积中常见参数及用法（stride、kernel_size、padding、dilation)
最新发布
absence521的博客
01-08 3385
最近看自己方向的论文，发现有的时候还是分不清一些参数的用法和含义，比如今天就在stride和dilation之间思考了很久，知识确实是学杂了，为了加深印象决定记录下来。
膨胀卷积与IDCNN
qq_25104905的博客
09-02 869
膨胀卷积与IDCNN Dilation 卷积，也被称为：空洞卷积、膨胀卷积。 一、一般的卷积操作： 首先，可以通过动态图，理解正常卷积的过程： 如上图，可以看到卷积操作。 对于CNN结构，通常包括如下部分： 输入层 （input layer）--- 卷积计算层 （CONV）--- 激励层（RELU） --- 池化层（Pooling） --- 全连接层（FC） 通常利用卷积来实现...
带dilation的卷积输出尺寸计算公式（附代码）
AsajuHuishi的博客
07-29 1933
带dilation的卷积输出尺寸计算公式 K′=dilation+(kernel−1)⋅(dilation−1)K'=dilation+(kernel-1)\cdot(dilation-1)K′=dilation+(kernel−1)⋅(dilation−1) Wout=win−K′+2paddingstride+1W_{out}=\frac{w_{in}-K'+2padding}{stride}+1Wout​=stridewin​−K′+2padding​+1 举例 # -*- coding: utf-8
atrous卷积和dilation 卷积
07-31
引用[1]和[3]中提到，dilation卷积是对卷积核进行膨胀，通过在卷积核之间插入空隙（用0填充）来克服stride造成的失真问题。具体来说，对于原始的卷积核k，进行d倍的dilation之后得到新的卷积核kd。这样做的目的是既...
卷积神经网络CNN（5）—— Dilated Convolution
Fate_fjh的博客
12-29 1万+
introduction参考：Multi-Scale Context Aggregation by Dilated Convolutions 在CNN中，Convolution与Pooling可谓最佳搭档，密不可分，在LeNet作者提出基本的CNN框架的时候，普通计算机计算能力并不优秀，所以Pooling作为提取重要特征以及减少计算量的一个重要手段。但是，在图像计算能力发展迅速的时代，Dilate
ID-CNN+CRF
05-30
针对中文命名实体识别（NER），采用IDCNN+CRF的方法。
深度学习中常用的几种卷积（下篇）：膨胀卷积、可分离卷积（深度可分离、空间可分离）、分组卷积（附Pytorch测试代码）
NorthSmile的博客
09-07 6552
膨胀卷积也称为扩张卷积或空洞卷积，一般可通过对标准二维卷积的卷积核设置合适的膨胀率（具体地指卷积核元素之间的距离）实现。合理利用膨胀卷积可在不引入其他参数的同时，扩大输出中元素的感受野，提高特征的全局表示能力。下面通过展示几个不同膨胀率下的卷积核大小以及感受野变化情况，可以更直观的理解：图中灰色为输入，蓝色为卷积核，黄色为输出。1）dilation=1：表示卷积核元素之间距离为1，使用0进行大小为dilation-1=0的填充（这是默认情况），因此。
26-27 逐行实现二维空洞卷积dilation与群卷积groups
scar2016的博客
04-08 738
文章目录1. Dilation2. Groups3. 撸代码4. 小结 1. Dilation Dilation 的作用是对卷积核进行扩充；默认dilation=1不扩充，dilation>1 表示卷积核内两两行两两列之间填充dilation-1个0；如下图所示： 2. Groups groups的作用是将输入和输出通道进行分组，避免所有的通道都进行融合，而是以组为单位进行融合，可以大大的减少训练参数； groups=1时的操作： groups=2时的操作： 3. 撸代码 import
空洞（膨胀）卷积（Atrous/Dilation Convolution）(详细解释！！！)
weixin_45074568的博客
03-13 1136
Atrous/Dilation Convolution的思想：因为图像相邻像素几乎相同，如果全部参加卷积运算结果会产生冗余，于是选择跳过H个像素值取一个有效值，这样可以在增加感受野的提前下同时降低运算，但是缺点是采用这种方法会导致部分信息的缺失。 如下图所示，(a)是普通的3×3卷积，其感受野就是3×3，(b)是扩张率为2（每隔2的2次方取个有效值），此时感受野变成7×7，©扩张 率为4时，感受野扩大为15×15，但是感受野的特征更稀疏了。 ...
空洞卷积（膨胀卷积）的相关知识以及使用建议（HDC原则）
Le0v1n 的博客
05-13 2万+
空洞卷积（膨胀卷积）的相关知识以及使用建议（HDC原则）
命名实体识别膨胀卷积模型：idcnn、idcnn和bilstm
源代码杀手的博客
07-25 703
命名实体识别（Named Entity Recognition，NER）是自然语言处理中的一个重要任务，它旨在从文本中识别和提取具有特定语义类别的实体，如人名、地名、组织名等。
从一维卷积、因果卷积(Causal CNN)、扩展卷积(Dilation CNN) 到 时间卷积网络 (TCN)
huiyayaya的博客
02-26 2483
直到最近，深度学习背景下的序列建模主题在很大程度上与循环神经网络架构有关，例如 LSTM 和 GRU。S. Bai等人表明这种思维方式已经过时，在对序列数据进行建模时，应将卷积网络作为主要候选者之一。他们证明了卷积网络可以在许多任务中实现比 RNN 更好的性能，同时避免循环模型的常见缺点，例如梯度爆炸/消失问题或缺乏记忆保留。此外，使用卷积网络可以提高性能，因为它允许并行计算输出。他们提出的架构称为时间卷积网络 (TCN)，将在以下部分中进行解释。
命名体识别之IDCNN
机器学习，深度学习
11-01 4857
解决问题 尽管BiLSTM+CRF被广泛的应用于NER任务中有很好的表现，但是BiLSTM不能很好的利用GPU的并行性，导致模型的性能很差，本文提出了一种替代方案-Iterated Dilated Convolutional Neural Networks(ID-CNNs)，相比传统的CNN，ID-CNNs可以捕获更长的上下文信息，并且相比传统的LSTM，可以实现并行性。 DilatedCNN 和 普通CNN 传统的CNN有明显的计算优势，但是传统的CNN在经过卷积之后，末...
Dilated Convolutions——扩张卷积
SnailTyan
12-07 1万+
Dilated Convolutions——扩张卷积
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值