- 博客(3)
- 收藏
- 关注
RSS订阅原创 基于Transformer的机器翻译
基于Transformer的机器翻译模型已经成为目前最先进的方法之一，为自然语言处理领域的发展带来了重要的推动力。Transformer模型通过自注意力机制实现了全局上下文的建模，使得模型能够并行处理输入序列，大大提高了训练和推理效率。相比传统的循环神经网络（RNN）和卷积神经网络（CNN），Transformer能够更有效地捕捉长距离的依赖关系，从而提升了翻译质量。
2024-06-28 11:21:25
1685
原创 机器翻译ML
我们将连结后的结果与上一时间步的隐藏状态通过门控循环单元计算出当前时间步的输出与隐藏状态。正如我们在6.5节（循环神经网络的简洁实现）中提到的，PyTorch的nn.GRU实例在前向计算后也会分别返回输出和最终时间步的多层隐藏状态。其中的输出指的是最后一层的隐藏层在各个时间步的隐藏状态，并不涉及输出层计算。其中隐藏层的输入是解码器的隐藏状态与编码器在所有时间步上隐藏状态的一一连结，且使用tanh函数作为激活函数。在下面的例子中，编码器的时间步数为10，批量大小为4，编码器和解码器的隐藏单元个数均为8。
2024-06-28 11:17:41
1338
原创 自然语言处理前馈网络
感知器的一个历史性的缺点是它不能学习数据中存在的一些非常重要的模式。例如，查看图4-1中绘制的数据点。这相当于非此即彼(XOR)的情况，在这种情况下，决策边界不能是一条直线(也称为线性可分)。在这个例子中，感知器失败了。在这一实验中，我们将探索传统上称为前馈网络的神经网络模型，以及两种前馈神经网络:多层感知器和卷积神经网络。多层感知器在结构上扩展了我们在实验3中研究的简单感知器，将多个感知器分组在一个单层，并将多个层叠加在一起。
2024-06-13 19:40:30
1786
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人