- 博客(4)
- 收藏
- 关注
RSS订阅原创 Transformer测试题
Transformer模型中的Layer Normalization（层归一化）通常应用在：D。在下列代码片段中，哪一行代码实现了自注意力机制中的缩放点积注意力计算？在机器翻译任务中，序列到序列模型中最常用的编码器和解码器是：B。B. 循环神经网络（RNN）A. 提高模型的并行计算能力。B. 增强模型的非线性能力。A. 卷积神经网络（CNN）D. 图卷积网络（GCN）D. 减少模型的参数数量。B. 多头注意力层之前。A. 自注意力层之后。B. 循环神经网络。A. 卷积神经网络。
2024-06-22 15:11:02
540
原创 设计一个机器翻译系统
使用带有教师强制（teacher forcing）的方法训练模型，即将真实目标序列的每个标记作为解码器的输入，以帮助模型学习正确的翻译方式。解码器：接收编码器的输出（记忆）和目标语言句子（以及位置编码），通过多头注意力层、编码器-解码器注意力层和前馈神经网络层生成翻译。这些步骤提供了一个基本的框架来设计一个使用注意力机制的机器翻译模型，你可以根据具体需求和数据集的特点进行进一步的调整和优化。在编码器和解码器中使用注意力机制，使模型能够聚焦于输入的不同部分，并在生成输出时考虑输入的相关信息。
2024-06-22 14:27:24
203
原创 机器翻译（Attention&self-attention)——从小白开始进阶
Transformer模型是基于自注意力（Self-Attention）机制的，这意味着它能够在处理输入数据时，对数据的不同部分赋予不同的关注权重。这种机制使得Transformer在处理长距离依赖的语言元素时，表现出非凡的能力，这在传统的循环神经网络（RNN）或长短时记忆网络（LSTM）中是很难实现的。核心技术：自注意力机制：允许模型在编码句子时，同时考虑句子中的所有词汇，从而捕捉词与词之间的关系。多头注意力：通过将注意力分解为多个“头”，并行处理信息，提高了模型捕捉不同类型信息的能力。位置编码。
2024-06-21 19:54:32
1051
原创 自然语言处理前馈神经网络
单层感知器与多层感知器分类结果示例如下：多层感知机（MLP，Multilayer Perceptron）也叫人工神经网络（ANN，Artificial Neural Network），除了输入输出层，它中间可以有多个隐层，最简单的MLP只含一个隐层，即三层的结构，如下图：从上图可以看到，多层感知机层与层之间是全连接的。多层感知机最底层是输入层，中间是隐藏层，最后是输出层。隐藏层的神经元怎么得来？
2024-06-12 10:51:49
1120
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人