- 博客(10)
- 收藏
- 关注
原创 第十周 SENet
1:文字回答:用自己的语言描述注意力机制的方式(最好有图)? 答:注意力机制的方式描述如下: 首先先来了解一下注意力的概念,注意力就是指人的心理活动指向和集中于某种事物的能力。比如说,第一眼看到一只狗,一只猫,看到猫狗的过程就是一个注意力机制的过程。当你注意力在狗的时候,你的大脑会给与该区域更多的关注。 注意力机制来源于人类大脑,并被引入NLP技术中,然后才被运用到CV领域。从数学角度看,注意力机制即提供一种权重模式进行计算。神经网络中,注意力机制即利用一些网络层计算得到特征图对应的权重值,对特征图进行“
2020-08-28 11:30:50
261
原创 第九周 DenseNet
1:文字回答:DenseNet-B,DenseNet-C,DenseNet-BC分别表示什么意思? 答:DenseNet-B表示采用了Bottleneck layers-瓶颈层的模型,其用来降低特征图通道数,减少后续卷积的计算量,当采用了以下形式进行特征提取,则网络会称为DenseNet-B。 DenseNet-C表示采用了Compression的模型。为了进一步使DenseNet紧凑,在transition layer处采用较少的卷积核进行特征提取,从而压缩特征图通道数,压缩率用Θ表示,典型值是0.5。
2020-08-25 11:30:10
317
原创 第八周 ResNeXt
作业内容: 1:文字回答:用自己的语言描述 split-transform-merge是怎样一个过程. 答:split-transform-merge有两种形式:神经元形式和Inception module形式。 ①一个神经元的操作: Splitting:X分为D个元素,可理解为低维嵌入。 Transforming:每个元素进行变换,此处仅做乘法。 Aggregating:对D个变换后的结果进行聚合(求和) ②先来了解下ResNet中的Inception:split-transform-merge 如下如所
2020-08-21 11:32:06
263
原创 第七周 GoogLeNet-v4
1:文字回答:用自己的理解,总结GoogLeNet-V1到GoogLeNet-V4,这四篇论文的发展 答:Inception历经了V1、V2、V3、V4多个版本的发展,不断趋于完善,下面一一进行介绍。 一、Inception V1 通过设计一个稀疏网络结构,但是能够产生稠密的数据,技能增加神经网络表现,又能保证计算资源的使用效率。谷歌提出了最原始的Inception的基本结构: 该结构将CNN中常见的卷积(11,33,55)、池化操作(33)堆叠在一起(卷积、池化后的尺寸相同,将通道相加),一方面增加了网
2020-08-11 20:00:40
198
原创 第六周 ResNet
1:文字回答:ResNet的shortcut connection与Highway Network有什么差别? 答:shortcut connection是不带参数的跳层连接,并不会给网络增加额外的参数和计算量,同时却可以大大增加模型的训练速度、提高训练效果,并且当模型的层数加深时,这个简单的结构能够很好的解决退化问题,因为Identity map是梯度可以直接回流到了输入层。 Highway Network的灵感来自“解决RNN的问题,提出的LSTM结构”,也就是加入“门”结构。Highway Netwo
2020-08-01 22:07:24
220
原创 第五周 GoogLeNet-v3
1:文字回答:GoogLeNet-V3中,特征图分辨率从3535降到1717,采用的是Inception(ABCDE)中的哪一个? 对应论文中哪一幅图?该结构最大的特点是什么? 答:E 运用了高效特征图分辨率下降策略:用卷积得到一半特征图,用池化得到一半特征图,从而用较少的计算量获得较多的信息,避免信息表征瓶颈。 2:文字回答:Label Smoothing 对模型训练有什么积极影响? 其中的epsilon参数作用是什么? 答:可以克服One-hot编码存在问题—过度自信进而导致过拟合的问题,标签平滑把On
2020-07-16 18:50:32
190
原创 第四周 GoogLeNet-v2
1:文字回答:Batch Normalization 层中的加减乘除是什么意思? 2:文字回答:Batch Normalization 层中均值和标准差通过什么方式得到? 3:文字回答:采用Batch Normalization 对神经网络带来怎样的收益? 4:文字回答:读完该论文,对你的启发点有哪些? 5:文字:本篇论文的学习笔记及总结 1:文字回答:Batch Normalization 层中的加减乘除是什么意思? 答:减均值除以标准差乘以gamma加beta。 2:文字回答:Batch Normali
2020-07-07 21:35:31
549
原创 第三周 GoogleNet
1:文字回答:GoogLeNet采用了几个辅助损失?辅助损失函数的权重是多少?为什么要采用辅助损失函数? 答:GoogLeNet采用了2个辅助损失,分别在Inceptionn4b和Inception4e增加两个辅助分类层,用于计算辅 助损失。 辅助损失函数的权重是0.3。 原因:1.增加loss回传; 2.充当正则约束,迫使中间层特征也具备分类能力。 2:文字回答:Inception模块中有几个分支?分别是哪些操作?Inception模块输出时特征图采用什么方式融合? 答:Inception模块有4个分支
2020-07-04 18:34:52
346
原创 第二周 VGG
1. VGG中3个33卷积相对于1个77卷积,在参数上较少了百分之多少?(假设输入和输出通道数均为C) 答:假设输入和输出均为C个通道,一个7*7卷积核所需参数量:7*7*C*C=49C^2;三个3*3卷积核所需参数量:3*(3*3*C*C)=27C^2 参数减少比:(49-27)/ 49=44% 2.VGG-16和VGG-19差别在哪? 答:![在这里插入图片描述](https://img-blog.csdnimg.cn/20200629215829
2020-06-30 21:34:43
320
原创 第一周:AlexNet
1.ImageNet数据集与ILSVRC之间的关系是什么? 答:ILSVRC使用ImageNet的一个子集,总共有大约120万个训练图像,50,000个验证图像,以及150,000个测试图像;1000类别标记。 Large Scale Visual Recognition Challenge 即ILSVRC(2012~2017)比赛,是基于该数据集的1000个类别的比赛。训练集120万张图片。 从 2010年起, 每年ImageNet 的项目组织都会举办一场基于ImageNet 的大规模
2020-06-18 22:32:46
243
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人