- 博客(3)
- 收藏
- 关注
原创 task3_note——Datawhale AI 夏令营 NLP
卷积神经网络(CNN):由于受限的上下文窗口,CNN在建模长文本方面存在天然不足,描述长距离依赖需要多层卷积操作,不同层之间信息传递可能有损失。循环神经网络(RNN):上下文的语义依赖通过维护循环单元中的隐状态实现,序列早期的上下文信息可能被逐渐遗忘。注意力机制在一定程度上缓解了这个问题,但RNN在编码效率方面仍存在不足。
2024-07-20 23:54:36
1391
原创 task3_note——Datawhale AI 夏令营NLP
卷积神经网络(CNN):由于受限的上下文窗口,CNN在建模长文本方面存在天然不足,描述长距离依赖需要多层卷积操作,不同层之间信息传递可能有损失。循环神经网络(RNN):上下文的语义依赖通过维护循环单元中的隐状态实现,序列早期的上下文信息可能被逐渐遗忘。注意力机制在一定程度上缓解了这个问题,但RNN在编码效率方面仍存在不足。
2024-07-20 23:50:12
638
原创 task2_note—— Datawhale AI 夏令营
编码器:将源语言序列编码为一系列隐藏状态。解码器:在每个时间步使用目标语言单词及其嵌入表示,通过GRU和注意力机制生成译文单词。注意力机制:在解码过程中动态地选择源语言序列中的相关部分,从而克服传统Seq2Seq模型在处理长序列时的局限性。通过引入注意力机制,解码器不再依赖于编码器的最后一个隐藏状态,而是可以在整个源语言序列中自适应地选择需要的信息,从而提高翻译效果。
2024-07-17 22:54:03
1115
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人