Deep Learning
文章平均质量分 57
浮生若梦,为欢几何耶
这个作者很懒,什么都没留下…
展开
-
深度学习——注意力机制
什么是注意力机制?人第一眼看上面的图会首先注意到鹰,而不会太重视天空背景。然而,计算机在处理图像的时候是所有的图像内容同等看待,不会重点关注比较重要的信息。因此,人们提出了一种注意力机制,使计算机系统也能够关注重点信息而忽略不重要信息。系统学会注意力——忽略无关信息而关注重点信息,提高处理效率和质量注意力机制分为两类:软注意力:关注区域或通道,具有确定性,可微性,能够用于网络学习的反向传播。强注意力:关注每一个点,每一个点都可能延伸成重点区域,并且是动态变化的,故而具有不确定性,不可微性,主要用.原创 2021-03-09 15:54:06 · 3459 阅读 · 0 评论 -
深度学习——Residual Attention Network
CVPR2017原论文:Residual Attention Network for Image Classification开源代码(caffe框架):https://github.com/fwang91/residual-attention-network1.主要内容:提出了残差注意力深度模型网络。该网络具有以下特点:1)其由多个注意力模块堆叠而成,每个注意力模块能够捕获不同的注意类型。2)采用残差连接,避免梯度消失,能够扩展很大的深度,且能完成端到端的训练。2.主体结构如上图,有三个At原创 2021-02-28 22:14:59 · 532 阅读 · 0 评论 -
深度学习——Squeeze-and-Excitation Networks
CVPR2018原论文:Squeeze-and-Excitation Networks开源代码(caffe框架):https://github.com/hujie-frank/SENet1.主要内容:提出了“Squeeze-and Excitation” (SE) block。SE模块能够根据卷积通道之间的相互依赖关系增强网络的特征表现能力,称为特征重校正。...原创 2021-02-28 14:58:16 · 609 阅读 · 0 评论 -
FPN学习笔记
CVPR2017论文:Feature Pyramid Networks for Object Detection1.主要内容:特征金字塔(表现不同尺度的特征信息)是多尺度目标检测的基础部分。但是其内存消耗和计算量过大。文章提出了自上而下的横向连接结构的网络结构,使特征金字塔的消耗变小,同时能够提取多尺度高级语义特征信息。...原创 2020-11-12 10:43:30 · 262 阅读 · 0 评论 -
R-CNN学习笔记
论文方法综合了两个关键点:1.运用深度CNN网络去做目标定位和分割。2.当可用数据集不足时,采用监督方法的预训练CNN网络去完成辅助任务,然后对主体进行微调优化。原创 2020-10-23 13:37:02 · 110 阅读 · 0 评论 -
ResNet学习笔记
最大亮点:采用残差连接解决梯度消失和网络退化问题卷积神经网络依靠堆叠更深的层数能够有很大的性能提升,但是当深度超过一定范围后,会出现梯度消失的问题,网络的性能会迅速恶化。残差连接结构:设输入为X,原恒等变换输出为H(X)。当采用残差连接时,X经过堆叠的非线性转换层(可以堆叠多层)后,得到残差F(X),然后将F(X)+X代替原H(X)作为输出。总体来说,残差层没有增加新的参数,不会导致计算量的增大。同时,依然能够采用反向传播的方法求梯度。注:F(X)与X的维度一致才能相加,故而提出两种方法增加维度(1)原创 2020-10-22 21:07:29 · 136 阅读 · 0 评论 -
GoogleNet学习笔记
改善深度神经网络的方法:1.增加深度(增加层数)2.增加宽度(增加每层神经单元数)带来问题:1.网络庞大,数据集小时,易导致过拟合(解决过拟合办法:L1,L2正则化;Dropout;数据增强)2.参数过多,训练时间长3.网络深度过大,易导致梯度消失问题(解决梯度消失问题:运用残差连接)解决办法:运用稀疏连接结构替代全连接结构(包括Conv层)。CPU及GPU适于计算密集矩阵,计算非一致稀疏矩阵的效率低下。提出Inception结构:运用稀疏连接,但适于硬件密集矩阵运算。文章说明低维特征向量也能原创 2020-10-21 21:45:06 · 224 阅读 · 0 评论