- 博客(3)
- 收藏
- 关注
RSS订阅原创 基于Transformer实现机器翻译（日译中）
总共在trainen和trainja中的句子数量是 5,973,071 条，但是为了学习目的，通常建议对数据进行抽样，并确保一切按预期运行，然后再一次性使用所有数据，以节省时间。在这里，将BATCH_SIZE设置为 16 以防止“cuda 内存不足”，但这取决于各种因素，例如机器内存容量、数据大小等，因此请根据需要随意更改批处理大小（注意：PyTorch 的教程使用 Multi30k 德语-英语数据集将批处理大小设置为 128。最后，在准备了必要的类和函数之后，准备训练我们的模型。
2024-06-27 11:18:39
1475
原创 NLP实验--机器翻译
如果编码器和解码器的隐藏单元个数不同，可以使用线性变换（Fully Connected Layer）来将编码器的最终隐藏状态转换为解码器的隐藏状态。在下面的例子中，编码器的时间步数为10，批量大小为4，编码器和解码器的隐藏单元个数均为8。之后，解码器在某时间步的输入为样本输出序列在上一时间步的词，即强制教学。在训练中，将强制教学替换为使用解码器在上一时间步的输出作为解码器在当前时间步的输入会影响模型训练和生成的结果。其中的输出指的是最后一层的隐藏层在各个时间步的隐藏状态，并不涉及输出层计算。
2024-06-27 08:42:13
1532
原创 自然语言处理：使用前馈网络原理进行姓氏分类
多层感知机（MLP，Multilayer Perceptron）也叫人工神经网络（ANN，Artificial Neural Network），除了输入输出层，它中间可以有多个隐层，最简单的MLP只含一个隐层，即三层的结构。多层感知器(multilayer Perceptron，MLP)是指可以是感知器的人工神经元组成的多个层次。MPL的层次结构是一个有向无环图。通常，每一层都全连接到下一层，某一层上的每个人工神经元的输出成为下一层若干人工神经元的输入。MLP至少有三层人工神经元。
2024-06-26 10:38:24
1255
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人