李思成的博客

解码器块是Transformer解码器的基础单元，包含解码器自注意力、编码器-解码器注意力和前馈神经网络。每个子层之后都加了残差连接和层规范化。：在解码时通过注意力机制获取编码器的上下文信息，并生成序列输出。

在训练过程中，随着时间步的增加，梯度可能会消失或爆炸，导致模型难以学习和记忆长时间间隔的信息。还引入了一个称为记忆单元（Cell State）的概念，用于携带长期信息。能够选择性地记住或遗忘信息，从而解决了长时依赖问题。都引入了门控机制，但它们的具体实现有所不同。（门控循环单元）是另一种解决长时依赖问题的。的长时依赖问题而设计的。

前者支持隐状态的门控。这意味着模型有专门的机制来确定应该何时更新隐状态， 以及应该何时重置隐状态。这些机制是可学习的，并且能够解决了上面列出的问题。例如，如果第一个词元非常重要， 模型将学会在第一次观测之后不更新隐状态。同样，模型也可以学会跳过不相关的临时观测。最后，模型还将学会在需要的时候重置隐状态。我们讨论了如何在循环神经网络中计算梯度， 以及矩阵连续乘积可以导致梯度消失或梯度爆炸的问题。

【代码】动手学深度学习（Pytorch版）代码实践 -循环神经网络-54~55循环神经网络的从零开始实现和简洁实现。

使用潜变量h_t总结过去信息​ 循环神经网络（，简称RNN）源自于1982年由提出的霍普菲尔德网络。循环神经网络，是指在全连接神经网络的基础上增加了前后时序上的关系，可以更好地处理比如机器翻译等的与时序相关的问题。​ 循环神经网络是一种对序列数据有较强的处理能力的网络。在网络模型中不同部分进行权值共享使得模型可以扩展到不同样式的样本，比如CNN网络中一个确定好的卷积核模板，几乎可以处理任何大小的图片。将图片中分成多个区域，使用同样的卷积核对每一个区域进行处理，最后可以获得非常好的处理结果。

【代码】动手学深度学习（Pytorch版）代码实践 -循环神经网络-53语言模型和数据集。

【代码】动手学深度学习（Pytorch版）代码实践 -循环神经网络-52文本预处理。

【代码】动手学深度学习（Pytorch版）代码实践 -循环神经网络-51序列模型。

【代码】动手学深度学习（Pytorch版）代码实践 -计算机视觉-49风格迁移。

【代码】动手学深度学习（Pytorch版）代码实践 -计算机视觉-48全连接卷积神经网络（FCN）

【代码】动手学深度学习（Pytorch版）代码实践 -计算机视觉-47转置卷积。

【代码】动手学深度学习（Pytorch版）代码实践 -计算机视觉-46语义分割和数据集。

【代码】动手学深度学习（Pytorch版）代码实践 -计算机视觉-45多尺度目标检测。

R-CNN 是最早也是最有名的一类基于锚框和 CNN 的目标检测算法。Fast R-CNN 和 Faster R-CNN 持续提升性能。Faster R-CNN 和 Mask R-CNN 常用于高精度要求的场景，但速度相对较慢。速度快但精度较低。虽然作者没有持续提升，但 SSD 启发了一系列后续工作，实现上相对简单。SSD 通过单神经网络进行检测（single shot）。以像素为中心产生多个锚框，在多个层的输出上进行多尺度检测。

【代码】动手学深度学习（Pytorch版）代码实践 -计算机视觉-41目标检测数据集。

【代码】动手学深度学习（Pytorch版）代码实践 -计算机视觉-40目标检测和边界框。

动手学深度学习（Pytorch版）代码实践 -计算机视觉-39实战Kaggle比赛：狗的品种识别（ImageNet Dogs）比赛链接：Dog Breed Identification | Kaggle

38实战Kaggle比赛：图像分类 (CIFAR-10)比赛链接：CIFAR-10 - Object Recognition in Images | Kaggle

【代码】动手学深度学习（Pytorch版）代码实践 -计算机视觉-37微调。

【代码】动手学深度学习（Pytorch版）代码实践 -计算机视觉-36图像增广。

【代码】动手学深度学习（Pytorch版）代码实践 -卷积神经网络-30`Kaggle`竞赛：图片分类。*比赛链接：**https://www.kaggle.com/c/classify-leaves。

【代码】动手学深度学习（Pytorch版）代码实践 -卷积神经网络-29残差网络ResNet。

【代码】动手学深度学习（Pytorch版）代码实践 -卷积神经网络-28批量规范化。

【代码】动手学深度学习（Pytorch版）代码实践 -卷积神经网络-27含并行连结的网络GoogLeNet。

【代码】动手学深度学习（Pytorch版）代码实践 -卷积神经网络-26网络中的网络NiN。

【代码】动手学深度学习（Pytorch版）代码实践 -卷积神经网络-25使用块的网络VGG。

【代码】动手学深度学习（Pytorch版）代码实践 -卷积神经网络-24深度卷积神经网络AlexNet。

【代码】动手学深度学习（Pytorch版）代码实践 -卷积神经网络-23卷积神经网络LeNet。

【代码】动手学深度学习（Pytorch版）代码实践 -卷积神经网络-22池化层。

【代码】动手学深度学习（Pytorch版）代码实践 -卷积神经网络-21多输入多输出通道。

【代码】动手学深度学习（Pytorch版）代码实践 -卷积神经网络-20填充与步幅。

【代码】动手学深度学习（Pytorch版）代码实践 -卷积神经网络-19图像卷积。

【代码】动手学深度学习（Pytorch版）代码实践 -卷积神经网络-18GPU。

动手学深度学习（Pytorch版）代码实践 -卷积神经网络-17读写文件

动手学深度学习（Pytorch版）代码实践 -卷积神经网络-16自定义层

【代码】动手学深度学习（Pytorch版）代码实践 -卷积神经网络-15参数管理。

【代码】动手学深度学习（Pytorch版）代码实践 -卷积神经网络-14模型构造。

【代码】动手学深度学习（Pytorch版）代码实践 -深度学习基础-13Kaggle竞赛：2020加州房价预测。

【代码】动手学深度学习（Pytorch版）代码实践 -深度学习基础-12Kaggle竞赛：预测房价。

【代码】动手学深度学习（Pytorch版）代码实践 -深度学习基础-11暂退法Dropout。