![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 84
ShasHashALU
这个作者很懒,什么都没留下…
展开
-
深度学习——现代循环神经网络
重置门有助于捕获序列中的短期依赖关系更新门有助于捕获序列中的长期依赖关系长短期记忆网络的隐藏层输出包括“隐状态”和“记忆元”。只有隐状态会传递到输出层,而记忆元完全属于内部信息。长短期记忆网络可以缓解梯度消失和梯度爆炸。在深度循环神经网络中,隐状态的信息被传递到当前层的下一时间步和下一层的当前时间步。深度循环神经网络需要大量的调参(学习率和修剪)来确保合适的收敛。在双向循环神经网络中,每个时间步的隐状态由当前时间步的前后数据同时决定。主要用于序列编码和给定双向上下文的观测估计。原创 2023-11-20 20:37:48 · 188 阅读 · 0 评论 -
深度学习——循环神经网络
循环神经网络的隐状态可以捕获直到当前时间步序列的历史信息。循环神经网络模型的参数数量不会随着时间步的增加而增加。循环神经网络可以创建字符级语言模型,并且可以使用困惑度来评价语言模型的质量。原创 2023-11-20 14:10:56 · 76 阅读 · 0 评论 -
深度学习——现代卷积神经网络(二)
残差映射可以更容易地学习同意函数,例如将权重层中的参数近似为0.利用残差块可以训练出一个有效的深层神经网络:输入可以通过层间的参与连接更快的向前传播在跨层连接上,不同于ResNet中将输入与输出相加,稠密连接网络(DenseNet)在通道维上连结输入与输出。需要通过添加过渡层来控制网络的维数,从而再次减少通道的数量。原创 2023-11-19 16:30:37 · 82 阅读 · 0 评论 -
深度学习——现代卷积神经网络(一)
因为这里的VGG使用了8个卷积层和三个全连接层,所以也被称作VGG-11 .它使用可以服用的卷积块VGG块构造网络;不同的VGG模型可以通过每个块中卷积层数量和输出通道数量的差异来定义。块的使用可以有效的设计复杂的网络,导致网络定义的非常的简洁。在VGG的论文中,有一个发现:深且窄的卷积(3 x 3)相较于较浅层且宽的卷积更有效。NiN使用由一个卷积层核多个1 x 1卷积层组成。NiN去除了容易造成过度拟合的全连接层,并替换成全剧平均汇聚层(在所有位置上进行求和)。该汇聚层的通道数量等于所需输出数量。原创 2023-11-17 16:22:34 · 340 阅读 · 0 评论 -
深度学习——卷积神经网络
为了构造高性能的卷积神经网络,我们通常对卷积层进行排列,逐渐降低其表示的空间和分辨率,同时增加通道数。在传统的神经网络中,卷积块编码得到的表征在输出之前需由一个或者多个全连接层进行处理。AlexNet使用了更多的卷积层和更多的参数来拟合大规模的数据集它标志着浅层网络到深层网络的关键一步。这里面的暂退法、ReLU和预处理使提升计算机视觉任务性能的其他关键步骤。原创 2023-11-17 12:35:32 · 226 阅读 · 0 评论