![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大模型基础
文章平均质量分 87
qq_41527980
一个致力于特立独行的香蕉
展开
-
大语言模型-大模型基础文献
1、Attention Is All You Need https://arxiv.org/abs/1706.03762attention is all you need2、Sequence to Sequence Learning with Neural Networks https://arxiv.org/abs/1409.3215基于深度神经网络(DNN)的序列到序列学习方法3、Neural Machine Translation by Jointly Learning to Align and Tr原创 2024-01-26 11:36:45 · 1335 阅读 · 0 评论 -
equence to Sequence Learning with Neural Networks 导读
该研究使用了深度学习中的LSTM模型来解决序列到序列的问题,并在WMT’14英法翻译任务中取得了优异的表现。与传统的SMT系统相比,LSTM模型具有更好的性能表现,尤其是在小词汇量的情况下。研究者还通过反转源句子中的单词顺序来改进模型性能,这是一个简单而有效的技巧。原创 2024-01-26 11:32:07 · 911 阅读 · 0 评论 -
attention is all you need 导读
本文提出了一种新的序列转换模型——Transformer,该模型完全基于注意力机制,取代了在编码器解码器架构中常用的递归层。与使用递归或卷积层的架构相比,对于翻译任务,Transformer可以训练得更快,并且在WMT 2014英语到德语和WMT 2014英语到法语翻译任务上取得了新的最佳表现。此外,作者还计划将注意力机制应用于其他任务,并将其扩展到涉及输入和输出模态的问题,例如图像、音频和视频等。原创 2024-01-26 11:31:05 · 970 阅读 · 0 评论 -
Emergent Abilities of Large Language Models 机翻mark
证明通过扩大语言模型可以可靠地提高性能和样本效率在广泛的下游任务。相反,本文讨论了我们称之为大型语言模型的新兴能力的一种不可预测的现象。我们认为如果一个能力不存在于较小的模型中,但在较大的模型中存在,则该能力就是新兴的。因此,仅仅通过外推小模型的性能无法预测新兴的能力。这种涌现的存在提出了一个问题:是否有可能进一步扩展语言模型的能力范围。近年来,语言模型已经彻底改变了自然语言处理(NLP)。原创 2024-01-26 11:28:31 · 1391 阅读 · 0 评论