- 博客(4)
- 收藏
- 关注
RSS订阅原创 fairseq入门：Simple LSTM
依然是跟随官方文档利用插件扩展（添加一个新的 FairseqEncoderDecoderModel ）将简单的LSTM作为encoder和decoder进行机器翻译任务：使用 LSTM 对源句子进行编码，然后将最终的隐藏状态传递给第二个 LSTM 来解码目标句子（不使用注意力机制）。在自然语言处理中，注意力机制主要用于解决机器翻译和文本生成等任务。其基本思想是，在生成每个输出单元（例如，翻译的单词）时，模型不仅关注输入序列的整体信息，还关注输入序列中与当前输出单元最相关的部分。
2023-10-09 17:51:27
111
1
原创 fairseq入门：扩展
本文是在阅读fairseq官方文档的基础上做一些翻译以及自身理解的记录。水平有限，如有错误，敬请指正！循环迭代每个训练周期 (epoch)外层循环是针对训练周期的迭代，通常在整个训练数据集上多次迭代以便模型能够学习到数据的不同特征。获取批量迭代器 (Batch Iterator)：在每个训练周期内，内层循环使用任务 (task) 的 get_batch_iterator 方法来获取一个数据批量的迭代器。这个迭代器（itr）用于逐批次地处理训练数据，每次迭代会生成一个 batch 的数据。逐批次进行训练。
2023-10-06 18:00:22
134
1
原创 fairseq入门：Getting Started
Fairseq 是一个基于PyTorch编写的序列建模工具包 (由Facebook AI Research（FAIR）开发)，它允许研究人员和开发人员训练用于翻译、摘要、语言建模和其他文本生成任务的自定义模型，以解决各种自然语言处理（NLP）任务。通常情况下，Fairseq是一个较大的项目，因此它的安装可能会占用一些时间和磁盘空间，尤其是如果您的网络连接速度较慢时。如果只是想使用Fairseq而不需要进行开发或编辑Fairseq源代码，可以考虑直接安装Fairseq的发布版本。
2023-10-06 16:26:14
392
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人