- 博客(10)
- 收藏
- 关注
RSS订阅原创 第十周 SENet
1：文字回答：用自己的语言描述注意力机制的方式（最好有图）？答：注意力机制的方式描述如下：首先先来了解一下注意力的概念，注意力就是指人的心理活动指向和集中于某种事物的能力。比如说，第一眼看到一只狗，一只猫，看到猫狗的过程就是一个注意力机制的过程。当你注意力在狗的时候，你的大脑会给与该区域更多的关注。注意力机制来源于人类大脑，并被引入NLP技术中，然后才被运用到CV领域。从数学角度看，注意力机制即提供一种权重模式进行计算。神经网络中，注意力机制即利用一些网络层计算得到特征图对应的权重值，对特征图进行“
2020-08-28 11:30:50
238
原创 第九周 DenseNet
1：文字回答：DenseNet-B，DenseNet-C，DenseNet-BC分别表示什么意思？答：DenseNet-B表示采用了Bottleneck layers-瓶颈层的模型，其用来降低特征图通道数，减少后续卷积的计算量，当采用了以下形式进行特征提取，则网络会称为DenseNet-B。DenseNet-C表示采用了Compression的模型。为了进一步使DenseNet紧凑，在transition layer处采用较少的卷积核进行特征提取，从而压缩特征图通道数，压缩率用Θ表示，典型值是0.5。
2020-08-25 11:30:10
303
原创 第八周 ResNeXt
作业内容：1：文字回答：用自己的语言描述 split-transform-merge是怎样一个过程.答：split-transform-merge有两种形式：神经元形式和Inception module形式。①一个神经元的操作：Splitting：X分为D个元素，可理解为低维嵌入。Transforming：每个元素进行变换，此处仅做乘法。Aggregating：对D个变换后的结果进行聚合（求和）②先来了解下ResNet中的Inception：split-transform-merge如下如所
2020-08-21 11:32:06
229
原创 第七周 GoogLeNet-v4
1：文字回答：用自己的理解，总结GoogLeNet-V1到GoogLeNet-V4，这四篇论文的发展答：Inception历经了V1、V2、V3、V4多个版本的发展，不断趋于完善，下面一一进行介绍。一、Inception V1通过设计一个稀疏网络结构，但是能够产生稠密的数据，技能增加神经网络表现，又能保证计算资源的使用效率。谷歌提出了最原始的Inception的基本结构：该结构将CNN中常见的卷积（11，33，55）、池化操作（33）堆叠在一起（卷积、池化后的尺寸相同，将通道相加），一方面增加了网
2020-08-11 20:00:40
189
原创 第六周 ResNet
1：文字回答：ResNet的shortcut connection与Highway Network有什么差别？答：shortcut connection是不带参数的跳层连接，并不会给网络增加额外的参数和计算量，同时却可以大大增加模型的训练速度、提高训练效果，并且当模型的层数加深时，这个简单的结构能够很好的解决退化问题，因为Identity map是梯度可以直接回流到了输入层。Highway Network的灵感来自“解决RNN的问题，提出的LSTM结构”，也就是加入“门”结构。Highway Netwo
2020-08-01 22:07:24
211
原创 第五周 GoogLeNet-v3
1：文字回答：GoogLeNet-V3中，特征图分辨率从3535降到1717，采用的是Inception（ABCDE）中的哪一个? 对应论文中哪一幅图？该结构最大的特点是什么？答：E运用了高效特征图分辨率下降策略：用卷积得到一半特征图，用池化得到一半特征图，从而用较少的计算量获得较多的信息，避免信息表征瓶颈。2：文字回答：Label Smoothing 对模型训练有什么积极影响？ 其中的epsilon参数作用是什么？答：可以克服One-hot编码存在问题—过度自信进而导致过拟合的问题，标签平滑把On
2020-07-16 18:50:32
167
原创 第四周 GoogLeNet-v2
1：文字回答：Batch Normalization 层中的加减乘除是什么意思？2：文字回答：Batch Normalization 层中均值和标准差通过什么方式得到？3：文字回答：采用Batch Normalization 对神经网络带来怎样的收益？4：文字回答：读完该论文，对你的启发点有哪些？5：文字：本篇论文的学习笔记及总结1：文字回答：Batch Normalization 层中的加减乘除是什么意思？答：减均值除以标准差乘以gamma加beta。2：文字回答：Batch Normali
2020-07-07 21:35:31
537
原创 第三周 GoogleNet
1：文字回答：GoogLeNet采用了几个辅助损失？辅助损失函数的权重是多少？为什么要采用辅助损失函数？答：GoogLeNet采用了2个辅助损失，分别在Inceptionn4b和Inception4e增加两个辅助分类层，用于计算辅 助损失。辅助损失函数的权重是0.3。原因：1.增加loss回传；2.充当正则约束，迫使中间层特征也具备分类能力。2：文字回答：Inception模块中有几个分支？分别是哪些操作？Inception模块输出时特征图采用什么方式融合？答：Inception模块有4个分支
2020-07-04 18:34:52
320
原创 第二周 VGG
1. VGG中3个33卷积相对于1个77卷积，在参数上较少了百分之多少？（假设输入和输出通道数均为C） 答：假设输入和输出均为C个通道，一个7*7卷积核所需参数量：7*7*C*C=49C^2;三个3*3卷积核所需参数量：3*（3*3*C*C)=27C^2 参数减少比：（49-27）/ 49=44% 2.VGG-16和VGG-19差别在哪？ 答：比赛，是基于该数据集的1000个类别的比赛。训练集120万张图片。 从 2010年起， 每年ImageNet 的项目组织都会举办一场基于ImageNet 的大规模
2020-06-18 22:32:46
235
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人