超级会员免费看
本文介绍了在PyTorch中进行自然语言处理(NLP)seq2seq模型开发时的数据处理、模型构建、训练技巧以及使用Einops库进行高效数组操作的方法。讲解了Encoder和Decoder的构建，Attention机制，以及如何利用Einops的rearrange、reduce和repeat操作。此外，还提到了训练代码优化，如自定义Dataset和DataLoader的使用，以及加速训练的策略。
欢迎关注我的CSDN：https://blog.csdn.net/caroline_wendy
本文地址：https://blog.csdn.net/caroline_wendy/article/details/128222398
NLP seq2seq代码编写技巧
数据
- tokenization，离散符号，翻译，划分token
- token2idx，将token变成idx
- add SoS&EoS，开头和结尾添加标识符，start of sentence，end of sentence
collate_fn：pad_sequence、label=target[:,1:]、decoder_input=target[:, :-1]
订阅专栏 解锁全文
扫一扫
451
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
