notes for DW summer camp NLP
文章平均质量分 87
Datawhale 夏令营第二期NLP方向学习笔记
kriss-spy
这个作者很懒,什么都没留下…
展开
-
notes for datawhale summer camp NPL task3
基于循环或卷积神经网络的序列到序列建模方法是现存机器翻译任务中的经典方法。然而,它们在建模文本长程依赖方面都存在一定的局限性。为了更好地描述文字序列,谷歌的研究人员在 2017 年提出了一种新的模型 TransformerTransformer 视频讲解它摒弃了循环结构,并完全通过注意力机制完成对源语言序列和目标语言序列全局依赖的建模。在抽取每个单词的上下文特征时,Transformer 通过自注意力机制(self-attention)衡量上下文中每一个单词对当前单词的重要程度。原创 2024-07-18 11:27:12 · 704 阅读 · 0 评论 -
notes for datawhale 2th summer camp NLP task1
*目标:**跑通baseline,体验NLP模型解决问题的流程,基本了解赛题要求,理解赛题场景:非常低。原创 2024-07-11 19:59:11 · 1097 阅读 · 1 评论 -
notes for datawhale 2th summer camp NLP task2
然而,在基于自注意力机制的翻译模型中,除了输出层,解码器还比编码器多一个编码解码注意力子层,用于帮助模型更好地利用源语言信息。虽然GPT-4的即时语音对话功能让人印象深刻,但是这种从自上到下搭建,自下到上用数据填出一个成熟智能体的做法,还是无法让我心悦诚服。机器翻译疑问评价方法,分为人工评价、无参考答案的机器评价、有参考答案的机器评价,各有优劣。最近开始怀疑,现有的大模型,或者说这种架构的AI,是否真的能实现AGI,或者实现机器情感。文本长度越长,注意力机制对循环神经网络的翻译效果的提升就越大。原创 2024-07-16 10:57:17 · 403 阅读 · 0 评论