NLP实习面试准备-卷积专题(二)

最新推荐文章于 2021-11-04 12:09:26 发布
最新推荐文章于 2021-11-04 12:09:26 发布
阅读量251 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32599109/article/details/118888518
版权
本文深入探讨了卷积神经网络中的分组卷积、转置卷积、空洞卷积和可变形卷积，分别阐述了它们的主要思想、应用场景及设计思路。此外，还回顾了卷积网络结构的发展历程，从AlexNet到VGGNet，再到GoogleNet/Inception-v1和ResNet，展示了卷积结构的演进和创新。
摘要由CSDN通过智能技术生成
1. 分组卷积及其应用场景。

在这里插入图片描述
如图，上图左边是普通的卷积操作，普通的卷积操作的一个卷积核将输入特征图的所有通道映射到一个feature map。
而分组卷积是将输入通道和输出通道分成相同的若干组， 各组一一对应，输入通道的相同组号通过卷积操作映射到输出通道的同一组中。如果所分组数记为 g g g，则参数量和计算量相比于普通卷积操作降低为1/g。
分组卷积降低了计算量，可被用来构建用于移动设备的小型网络模型，如深度可分离卷积。
不足之处：对内存访问的频繁程度并未降低，且GPU加速库对其优化程度有限，在效率提升上不如理论上显著。

2. 转置卷积的主要思想及其应用场景。

主要思想：
常规的输入

最低0.47元/天 解锁文章
炼丹师祖
关注
滴滴 算法实习生 面试详解 nlp方向
机器学习深度学习业余选手
08-08 1298
滴滴 算法实习生 面试详解 nlp方向
NLP实习面试准备-HMM(一)
qq_32599109的博客
07-01 515
1. 什么是马尔科夫链？ 马尔科夫链，又称为离散时间马尔科夫链，是满足马尔科夫性质的随机变量序列。马尔科夫性质即指第n个位置的随机变量XnX_nXn​仅与第n-1个位置的随机变量Xn−1X_{n-1}Xn−1​相关。 2. 什么是HMM？ HMM(Hidden Markov Model)指隐马尔科夫模型, 它是由隐藏的马尔科夫链生成（为什么说是隐藏的马尔科夫链，我的理解马尔科夫链并不是直接存在的，而是由初始状态向量和状态转移矩阵隐形确定的。）生成不可观测的状态序列，再由不可观测的状态序列生成可观测的观测序列
NLP实习面试准备-RNN专题(一)
qq_32599109的博客
08-05 162
1. 循环神经网络的结构与参数更新方式： 循环神经网络可以将输入序列映射为同等长度的输出序列。 上图右端是对循环神经网络展开后的形式，我们讨论第ttt时刻的隐藏状态h(t)h^{(t)}h(t)、输出状态o(t)o^{(t)}o(t)以及损失LLL的计算方式。 其中隐藏状态由上一时刻的隐藏状态和输入状态决定： h(t)=σ(Ux(t)+Wh(t−1)+b)(1) h^{(t)}=\sigma(Ux^{(t)}+Wh^{(t-1)}+b) \tag1 h(t)=σ(Ux(t)+Wh(t−1)+b)(1) σ
NLP实习面试准备-梯度消失、梯度爆炸及其解决办法
qq_32599109的博客
07-08 291
1. 什么是梯度消失和梯度爆炸？ 神经网络的训练过程是对网络中的各个参数求梯度后对参数进行梯度更新的过程。 梯度消失：对于深层神经网络得到loss函数之后对神经网络的前面几层的参数求导时通过链式法则使得求导后的因子项非常多。当激活函数选择为sigmoid函数时激活函数输出对输入求导的那些因子项的导数最大不超过0.25，而神经网络参数我们通常初始化为小于1的值。这些许多小于一的因子项相乘的结果是网络对前几层的参数求导的结果几乎为0导致参数几乎不更新。 梯度爆炸：同梯度消失，对于深层神经网络得到loss函数后对
NLP实习面试准备-HMM(二)
qq_32599109的博客
07-05 275
概率计算问题：给定已知参数的HMM和一个观测序列（即给定λ\lambdaλ和OOO），如何计算出由HMM得到此观测序列的概率？ 直接计算： 由隐马尔科夫模型首先计算(通过初始状态概率向量和状态概率转移矩阵求)得到可以产生的所有状态序列的概率，假设状态空间有NNN个状态，则长度为TTT状态序列的种类数为NTN^TNT； 求得所有状态序列的概率后通过观测概率转移矩阵得到在某一状态序列条件下的到此观测序列的概率。 对由NNN^NNN个状态序列计算得到的观测序列概率相加得到最终的观测序列的概率。 此过程的时间复杂
IGC系列：全分组卷积网络，分组卷积极致使用 | 轻量级网络
晓飞的算法工程笔记
05-27 708
IGC系列网络的核心在分组卷积的极致运用，将常规卷积分解成多个分组卷积，能够减少大量参数，另外互补性原则和排序操作能够在最少的参数量情况下保证分组间的信息流通。但整体而言，虽然使用IGC模块后参数量和计算量降低了，但网络结构变得更为繁琐，可能导致在真实使用时速度变慢   来源：晓飞的算法工程笔记 公众号 IGCV1 论文: Interleaved Group Convolutions for Deep Neural Networks 论文地址：https://arxiv.org/abs/1707..
阿里巴巴NLP算法面试题整理
neituijiang的博客
05-12 2180
大家好，这里是面经酱～ 今天来帮大家梳理网上公开面经中提到的阿里NLP算法岗相关面试题，欢迎在 面经酱(www.mjj666.cn) 搜索最新面经，有其他公司、岗位的面经梳理需求请留言哦～ 今天来帮大家梳理网上公开面经中提到的阿里NLP算法岗相关面试题，欢迎在 面经酱(www.mjj666.cn) 搜索最新面经，有其他公司、岗位的面经梳理需求请留言哦～ 编程&数学基础 【高频】Topk 三叉树遍历 求一个大于等于输入的正整数的最小降序序列 快排 提取有效的ip地址 【高频】贪心和DP的区别 给定x
卷积 - 3. 分组卷积 详解
Aaron_neil的博客
11-04 1万+
1. 起源 分组卷积(Group Convolution) 起源于2012年的AlexNet - 《ImageNet Classification with Deep Convolutional Neural Networks》。由于当时硬件资源的限制，因为作者将Feature Maps分给多个GPU进行处理，最后把多个GPU的结果进行融合。如下图： 2. 分组卷积 介绍 我接下来用图来直观的展示普通卷积和分组卷积的区别： 首先，传统的 2D 卷积步骤如下图所示，输入特征为 (H × W .
常用的卷积神经网络-1-卷积和通道
u012744245的博客
01-08 3902
文章目录CNN1. CNN基本结构2. 卷积和通道2.1 分组卷积（Group Convolution）2.2 Convolution VS Group Convolution2.3 Group Convolution的用途2.4 Depthwise Convolution && Pointwise Convolution && Depthwise Separable Convolution2.5 Group Convolution 和 Depthwise + Pointwi
分组卷积
jacke121的专栏
05-09 7789
Pytorch的分组卷积 新代小新 2019-09-18 16:40:17 488 收藏 1 展开 最近使用pytorch的时候遇到nn.Conv2d和F.conv2d中的groups参数设置问题，查阅了一些相关资料发现网上的回答并不是很清晰明朗，所以自己写一篇关于pytorch分组卷积的见解。 普通卷积 关于普通卷积的知识可以直接点击链接多通道RGB卷积。 分组卷积 分组卷积和普通卷积最大的不同就是卷积核在不同通道上卷积后的操作，在生成一个FeatureMap的前提下，普通卷积是在声明与i...
卷积网络基础知识---Group Convolution分组卷积
AI小作坊 的博客
06-04 9680
Group Convolution分组卷积，以及Depthwise Convolution和Global Depthwise Convolution https://www.cnblogs.com/shine-lee/p/10243114.html 写在前面 Group Convolution分组卷积，最早见于AlexNet——2012年Imagenet的冠军方法，Group Convolutio...
分组卷积和深度可分离卷积
阿鹏的摇滚小站
02-15 1968
一、分组卷积 二、深度卷积
如何理解空洞卷积（dilated convolution）ID-CNN
猪逻辑公园
07-12 1万+
作者：谭旭链接：https://www.zhihu.com/question/54149221/answer/192025860来源：知乎著作权归作者所有，转载请联系作者获得授权。简单讨论下dilated conv，中文可以叫做空洞卷积或者扩张卷积。首先介绍一下dilated conv诞生背景[4]，再解释dilated conv操作本身，以及应用。首先是诞生背景，在图像分割领域，图像输入到CNN...
神经网络中卷积操作小结（卷积，反卷积，空洞卷积）
CAUC_learner的博客
06-07 1148
首先说明一下，深度学习中常见的卷积操作和数学意义上的卷积求和是有略略区别的。深度学习中的卷积和就是对应点数相乘再相加即可，而数学中的卷积和要先进性变换再进行对应相乘相加。 数学意义卷积求和 ...
tensorflow学习笔记-卷积,反卷积,空洞卷积
u011961856的专栏
08-16 4214
tensorflow学习笔记-卷积,反卷积,空洞卷积
关于dilated convolution(空洞卷积)感受野的计算
热门推荐
编程之路
11-01 2万+
关于感受野的定义请参考：https://www.jianshu.com/p/2b968e7a1715 定义：感受野用来表示网络内部的不同神经元对原图像的感受范围的大小，或者说，convNets(cnn)每一层输出的特征图(feature map)上的像素点在原始图像上映射的区域大小。   计算公式:       从前往后： F后 = （F前 - 1） + k    (F代表感受野的大小，...
卷积神经网络（CNN）应用于自然语言处理（NLP）
qq_21460525的博客
03-15 7746
说到CNN，大家自然想到图像处理。 说到NLP，大家自然想到LSTM，RNN。 但是，去年的斯坦福论文表明，CNN照样可以应用于NLP，并且效果可能更好。博主做了实验，爬取了各类新闻并对新闻进行分类。这样的分类问题，RNN和CNN都可以达到99%左右的效果，但是，CNN几乎比RNN快了5倍。于是，博主主要针对CNN对于NLP处理中的细节展开讨论。1.CNN为什么可以处理NLP 随着词向量的发展
神经网络学习笔记（一）：关于卷积核
qq_52967097的博客
07-17 1360
1.卷积核的个数决定了输出特征图的深度 2.卷积核的深度与输入特征图的深度相同 3.（1，1）的卷积核常用于调整深度来适应（如：ResNet中有运用） 4.在步长相同的情况下使用两个（3，3）的卷积核与使用一个（5，5）的卷积核作用相近，但两个（3，3）的卷积核在图片尺寸较大（大多数情况下）时效率高于使用一个（5，5）卷积核 ...
LeNet模型在图像识别中的应用-卷积神经网络解析
"卷积神经网络,LeNet模型,图像分类" 卷积神经网络（CNN，Convolutional Neural Networks）是一种特殊类型的神经网络，其设计灵感...随着技术的发展，CNN已经广泛应用于图像分类、目标检测、自然语言处理等多个领域。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值