- 博客(3)
- 收藏
- 关注
RSS订阅原创 基于Transformer&PyTorch的日汉机器翻译模型使用Jupyter Notebook、PyTorch、Torchtext和句子片段的教程
不同的标记器也会影响构建vocab所需的时间，我尝试了其他几种日语标记器，但PensionePiece似乎对我来说足够好、足够快。第一个仅用于推理，我们可以稍后加载模型，并使用它将日语翻译为英语。首先，我们创建翻译新句子的功能，包括获取日语句子、标记化、转换为张量、推理，然后将结果解码回句子等步骤，但这次是用英语。最后，在训练完成后，我们将首先使用Pickle保存Vocab对象（en_Vocab和ja_Vocab）。在我们有了词汇表对象之后，我们可以使用vocab和标记器对象来为我们的训练数据构建张量。
2024-06-30 01:57:49
526
原创 机器翻译。
一、机器翻译机器翻译是指将一段文本从一种语言自动翻译到另一种语言。因为一段文本序列在不同语言中的长度不一定相同，所以我们使用机器翻译为例来介绍编码器—解码器和注意力机制的应用。在机器翻译任务中，我们旨在教授系统理解一种语言并将其转换成另一种语言。给定两个句子，一个输入句子和对应的期望翻译句子，我们的目标让机器去学习语言特性，并尝试翻译任何给定的输入句子。虽然给定的输入句子总是有限的，但是语料的假设可以无限。
2024-06-30 01:57:27
877
原创 自然语言处理前馈网络
一、感知器感知机是早期的神经网络模型，提出于1957年，虽然在当时引起了一定的关注，但也存在一些缺点。例如图中绘制的数据点，在这种情况下，决策边界不能是一条直线（也称为线性可分）。图4-1 XOR数据集中的两个类绘制为圆形和星形。请注意，没有任何一行可以分隔这两个类。我们探讨了前馈神经网络的典型类型，包括多层感知器和卷积神经网络。多层感知器是对我们在实验3中分析过的简单感知器的结构扩展，它将多个感知器组合成一个单层，并将这些层堆叠起来。
2024-06-30 01:56:46
810
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人