神经网络浅析
文章平均质量分 91
经典神经网络模型的复现
酿久诗
彼南风兮舒以肆
展开
-
卷积操作的不同类型
一般而言,一维卷积用于文本数据;二维卷积用于图像数据,对宽度和高度都进行卷积;三维卷积用于视频及3D图像处理领域,对立方体的三个面进行卷积。原创 2022-11-18 17:13:59 · 1113 阅读 · 1 评论 -
RNN 浅析
循环神经网络 (Recurrent Neural Network, RNN) 是一种特殊的神经网路结构,用于处理序列数据。在传统的神经网络模型中,是从输入层到隐含层再到输出层,层与层之间是全连接的,每层之间的节点是无连接的。但是这种普通的神经网络对于时间序列问题却无能无力 (如预测句子的下一个单词)。RNN 之所以称为循环神经网路,其本身包含循环的网络,允许信息在层内神经元之间传递,能够捕捉序列间的时序信息。原创 2022-09-17 22:10:05 · 3476 阅读 · 0 评论 -
GRU 浅析
门控循环单元 (Gate Recurrent Unit, GRU) 于 2014 年在论文《》中提出。GRU 是循环神经网络的一种,和 LSTM 一样,是为了解决长期依赖问题而提出。GRU 总体结构与 RNN 相似,如下图所示。但其内部结构 (思想) 却与 LSTM 更加相似,如下图所示。LSTM 使用三个门 (遗忘门、输入门和输出门) 来控制信息传递,GRU 只使用了两个门 (重置门和更新门)。与 LSTM 相比,GRU 去除了单元状态,转而使用隐藏状态来传输信息。原创 2022-09-17 00:08:38 · 8957 阅读 · 2 评论 -
LSTM 浅析
1997 年,Hochreiter 和 Schmidhuber 提出了长短期记忆网络 (Long Short Term Memory, LSTM),这是一种特殊的 RNN,能够学习长期依赖性。反观 RNN,由于梯度爆炸或消失带来影响,其只能学习到短周期的依赖关系。如果一个序列过长,RNN 很难把较早的信息传输到后面。在 RNN 中,梯度更新幅度小的网络层 (通常是较早的层) 将停止学习,这便遗失了较早的信息。LSTM 是 RNN 的升级版,是为了克服短期记忆问题而提出的解决方案。原创 2022-09-15 18:11:15 · 1672 阅读 · 0 评论 -
DenseNet 浅析
DenseNet 于论文《》中提出,是 CVPR2017 的 oral。论文提出 DenseNet 并与 ResNet 和 Inception 做对较。为提升网络的效果,一般操作是增加网络的深度和宽度,但论文作者另辟蹊径,聚焦于 feature 的极致利用以获得更佳效果和更少参数。对于梯度消失问题,ResNet 等网络使用跳层连接结构加以解决。作者延续该思路,提出 DenseBlock,在保证网络层间最大程度的信息传输的同时,直接将所有层连接起来。........................原创 2022-08-05 17:29:01 · 3842 阅读 · 0 评论 -
GoogLeNet 浅析
GoogLeNet 于论文《Going deeper with convolutions》中提出,并一举斩获 2014 年 ImageNet 挑战赛的冠军。一般而言,增加网络深度和宽度是提升网络性能最直接的方法,但这样也会带来诸多问题: GoogLeNet 共有 22 层网络,但其参数量却比 AlexNet 和 VGG 小很多。GoogLeNet 主要通过以下方法来提升网络的性能: GoogLeNet 的网络结构如下,共有 22 层(蓝色部分)。关于 GoogLeNet 网络的分析,主要关注在两个原创 2022-07-07 15:02:03 · 1297 阅读 · 1 评论 -
UNet 浅析
文章目录1. UNet网络结构2. UNet网络结构特点3. Skip Connection4. 医学图像分割数据集ISBI(果蝇电镜图)【参考】1. UNet网络结构2. UNet网络结构特点(1)U型网络结构;(2)跳层连接(Skip connection);3. Skip Connection(1)在上采样过程中融合下采样过程中的特征图;(2)融合方式为concatenate,按特征图通道数进行叠加;(3)在实际中,融合的两张特征图尺寸可能不同,一般可采用裁剪和padding(UNe原创 2021-09-28 18:04:19 · 45349 阅读 · 2 评论 -
FCN(全卷积神经网络)详解
文章目录简介核心思想网络结构上采样 Upsampling跳级结构CNN与FCN的区别与联系网络训练过程存在问题【参考】简介全卷积网络(Fully Convolutional Networks,FCN)是Jonathan Long等人于2015年在Fully Convolutional Networks for Semantic Segmentation一文中提出的用于图像语义分割的一种框架,是深度学习用于语义分割领域的开山之作。FCN将传统CNN后面的全连接层换成了卷积层,这样网络的输出将是热力图而非类原创 2021-09-27 17:51:21 · 74468 阅读 · 1 评论 -
BN (Batch Normalization) 详解
文章目录1 简介2 采用 BN 的神经网络3 BN 的前向传播3.1 标准化2.2 缩放平移2.3 实现效果3 BN 的前向传播总结1 简介 Batch Normalization 技巧于 2015 年被谷歌提出以来,能够有效提升网络训练效率。众所周知,在神经网络训练前对输入像素进行标准化处理,能够有效降低模型的训练难度。受此启发,既然能够对输入层进行标准化处理,那么隐藏层为什么不可以标准化? 因此,对每层加权和进行标准化,然后再通过缩放平移来“适度还原”。这样,既保证了不过分破坏输入信息,又降低了由转载 2021-10-12 15:29:09 · 1785 阅读 · 0 评论 -
AlexNet 神经网络
2006 年,研究人员成功利用 GPU 加速 CNN,相比 CPU 快了 4 倍。2012 年,由谷歌 Hinton 率领的团队提出新的卷积神经网络 AlexNet,在 ImageNet 2012 的图片分类任务上,以 15.3% 的错误率登顶,而且以高出第二名十几个百分点的差距吊打所有其他参与者。论文为《ImageNet Classification with Deep Convolutional Neural Networks》。AlexNet 的出现标志着神经网络的复苏和深度学习的崛起。 Ale原创 2022-06-07 14:14:55 · 1334 阅读 · 0 评论 -
LeNet 神经网络
LeNet 原是 LeNet1 - LeNet5 这系列网络的合称,但现在所说的 LeNet 则一般特指 LeNet5 (后文统一称为 LeNet)。LeNet 是 Yann LeCun 教授于 1998 年在论文《Gradient-Based Learning Applied to Document Recognition》中提出的 ,设计之初只是用于手写数字的识别,到如今已成为卷积神经网络的 HelloWorld。受限于计算机的算力不足,加之支持向量机 (核学习方法) 的兴起,CNN 方法并未成为当原创 2022-06-07 10:19:26 · 1807 阅读 · 0 评论