- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 基于Transformer实现机器翻译
因为Transformer模型本身不具有处理序列顺序的能力，所以用PositionalEncoding类给模型的输入添加位置信息，它使用正弦和余弦函数根据词在序列中的位置生成位置嵌入。generate_square_subsequent_mask函数生成一个方形后续掩码，用于在解码器层中屏蔽未来的位置，确保在预测一个词时不会考虑后面的词。遍历每个批次的数据，使用指定的设备进行训练，创建掩码，确保模型在训练过程中不会看到未来的信息，并且能够正确处理填充标记。最终，返回生成的目标语言句子的词索引序列。
2024-06-25 16:13:22
630
原创 机器翻译——将一种语言翻译成另一种语言
分割输入序列，添加结束符和填充符，转换词索引，获取编码器的初始状态，编码器处理输入序列和初始状态，得到编码器的输出和最终状态。初始化解码器，遍历解码器的时间步，在每个时间步，使用解码器处理当前输入、当前状态和编码器输出，得到解码器的输出和下一状态，获取预测结果，判断是否结束，返回输出序列。再定义前向传播方法将一批序列数据通过嵌入层转换为嵌入向量序列，然后送入RNN层进行处理，并返回RNN层的输出和最终的隐藏状态，最后返回编码器的初始状态。Python 3.6.7且主要运用pytorch库。
2024-06-24 10:21:23
683
原创 自然语言处理前馈网络
将训练集转化为one-hot编码，构建多层感知机模型，需要调用父类的初始化方法，包含全连接层以及前向传播算法，视情况决定是否使用softmax函数，再定义损失函数以及优化器，用训练集对模型进行迭代训练，记录每一次迭代训练得到的损失值和精确度，保存训练好的模型。将训练集转化为one-hot编码，构建卷积神经网络模型，包含激活函数，全连接层以及前向传播算法，再定义损失函数以及优化器，用训练集对模型进行迭代训练，记录每一次迭代训练得到的损失值和精确度，保存训练好的模型。初始化训练字典，跟踪每一次的关键信息。
2024-06-24 09:59:08
557
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人