- 博客(3)
- 收藏
- 关注
RSS订阅原创 使用Transformer实现机器翻译
接下来，我们定义一个基于Transformer的Seq2Seq模型。其中，变压器是一个 Seq2Seq 模型介绍了“注意力是你所需要的一切”文件，以解决机器翻译任务。变压器模型由一个编码器和解码器块组成，每个编码器和解码器块包含固定数量的层。编码器处理输入序列的传播，通过一系列的多头注意和前馈网络层。编码器的输出称为存储器，与目标张量一起被馈送到解码器。编码器和解码器是在一个端到端的方式使用教师强制技术培训。tgt_mask)定义位置编码和词嵌入类。
2024-06-24 21:09:58
561
原创 利用PyTorch实现带注意力机制的序列到序列翻译模型
本次实验中，我们介绍了如何通过编码器—解码器和注意力机制实现机器翻译模型。我们首先读取并预处理了数据，然后构建了包含注意力机制的编码器和解码器模型，并对模型进行了训练和测试。最后，我们通过BLEU评分来评价翻译结果的质量。这种方法在处理序列到序列的任务（如机器翻译）上显示出了很大的潜力。
2024-06-24 10:07:01
688
原创 自然语言处理前馈网络
然而，在深度学习和本实验中，我们从数据中学习卷积滤波器的参数，因此它对于解决当前的任务是最优的。学习具有特定属性的中间表示，如分类任务是线性可分的，这是使用神经网络的最深刻后果之一，也是其建模能力的精髓。请注意，在print语句的输出中，每个层中的单元数很好地排列在一起，以便为维度3的输入生成维度4的输出。感知器是现存最简单的神经网络，是神经网络的基础，而他的一个缺点是不能学习数据中存在的一些非常重要的模式，当数据点存在非此即彼(XOR)的情况时,在这种情况下，决策边界非线性可分，此时感知器失败。
2024-06-16 15:01:18
1921
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人