- 博客(3)
- 收藏
- 关注
RSS订阅原创 基于transformer实现的机器翻译（日译中）
在训练周期内，通过监控loss和accuracy的变化趋势，我们不仅观察到了模型学习能力的进步，还可能通过对学习率、批大小等超参数的调整，进一步优化了模型性能。通过获取高质量的并行日中语料库，并利用TorchText的分词器进行有效分词，以及构建Vocab对象来标准化词汇表，这些步骤为模型提供了清晰、结构化的输入，是后续训练成功的基础。通过翻译结果，我们能够直观地了解到模型在处理不同句式、语法结构和专业领域词汇时的能力，同时也可能发现了模型的一些局限性，如对于文化特有表达、俚语等的处理不足。
2024-06-30 00:05:12
898
原创 自然语言处理前馈网络实验
1. 实验内容在学习神经网络的过程中，我们通过观察感知器来介绍神经网络的基础，感知器是现存最简单的神经网络。感知器的一个历史性的缺点是它不能学习数据中存在的一些非常重要的模式。例如，查看图4-1中绘制的数据点。这相当于非此即彼(XOR)的情况，在这种情况下，决策边界不能是一条直线(也称为线性可分)。在这个例子中，感知器失败了。图4-1 XOR数据集中的两个类绘制为圆形和星形。请注意，没有任何一行可以分隔这两个类。
2024-06-29 23:52:00
801
原创 自然语言处理——机器翻译
设编码器和解码器的隐藏单元个数相同。相反，使用自身预测作为输入（称为“自我反馈”）可以增强模型的鲁棒性和泛化能力，特别是在面对新的、长序列的生成任务时，因为模型学会了从潜在的早期错误中恢复，模拟了实际推理过程。相比之下，如果使用解码器自己的输出作为下一时步的输入，尤其是在训练初期，由于解码器的预测可能不准确，这种误差可能会被累积，从而减慢模型收敛速度。3、对于不同层数的情况，简单的重复或填充可能不是最优解，更复杂的初始化策略（如基于编码器所有层状态的融合）可能会带来更好的性能，但这通常需要更多的实验验证。
2024-06-29 23:20:40
501
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人