- 博客(3)
- 收藏
- 关注
RSS订阅原创 task3_note——Datawhale AI 夏令营 NLP
卷积神经网络（CNN）：由于受限的上下文窗口，CNN在建模长文本方面存在天然不足，描述长距离依赖需要多层卷积操作，不同层之间信息传递可能有损失。循环神经网络（RNN）：上下文的语义依赖通过维护循环单元中的隐状态实现，序列早期的上下文信息可能被逐渐遗忘。注意力机制在一定程度上缓解了这个问题，但RNN在编码效率方面仍存在不足。
2024-07-20 23:54:36
1391
原创 task3_note——Datawhale AI 夏令营NLP
卷积神经网络（CNN）：由于受限的上下文窗口，CNN在建模长文本方面存在天然不足，描述长距离依赖需要多层卷积操作，不同层之间信息传递可能有损失。循环神经网络（RNN）：上下文的语义依赖通过维护循环单元中的隐状态实现，序列早期的上下文信息可能被逐渐遗忘。注意力机制在一定程度上缓解了这个问题，但RNN在编码效率方面仍存在不足。
2024-07-20 23:50:12
638
原创 task2_note—— Datawhale AI 夏令营
编码器：将源语言序列编码为一系列隐藏状态。解码器：在每个时间步使用目标语言单词及其嵌入表示，通过GRU和注意力机制生成译文单词。注意力机制：在解码过程中动态地选择源语言序列中的相关部分，从而克服传统Seq2Seq模型在处理长序列时的局限性。通过引入注意力机制，解码器不再依赖于编码器的最后一个隐藏状态，而是可以在整个源语言序列中自适应地选择需要的信息，从而提高翻译效果。
2024-07-17 22:54:03
1115
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人