- 博客(2)
- 收藏
- 关注
原创 DataWhale AI + 物质科学 Task02 笔记
它由两个独立的RNN组成,一个处理正向序列,另一个处理反向序列,然后将它们的输出结合起来进行预测。RNN是一种用于处理序列数据的神经网络,其主要特征是具有循环连接,能够保留并利用之前时刻的信息对当前时刻的输出进行影响。BPTT会展开整个序列,将每个时间步的误差反向传播,从而更新每个时间步的参数。每个时间步的隐藏状态不仅依赖于当前输入,还依赖于之前时间步的隐藏状态,这样就实现了信息的传播。在RNN中,前向传播是通过时间展开的,每个时间步的输出和隐藏状态都会传递给下一个时间步。和分别是隐藏状态和输出的偏置项。
2024-07-31 22:13:11
804
原创 Datawhale AI 夏令营 Task02 笔记
通过本次学习,我掌握了基于 Seq2Seq 的 Baseline 模型结构、中英文分词、循环神经网络(RNN)、门控循环单元(GRU)及注意力机制等知识点,了解了机器翻译任务的整个流程,包括数据预处理、模型训练和翻译质量评价。:使用预训练的词向量或自己训练词向量,将词汇表中的词映射到高维空间中的向量,以捕捉语义信息。解码器的结构基本上和编码器是一致的,在基于循环神经网络的翻译模型中,解码器只比编码器多了输出层,用于输出每个目标语言位置的单词生成概率。:人工评价的重点在于翻译结果的准确度。
2024-07-17 21:50:36
809
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人