论文学习
文章平均质量分 71
stdio10t
虽然是电子信息专业却很喜欢程序与算法的小萌新(*╹▽╹*)
展开
-
【无标题】
1.统计语言模型2.神经语言模型:word2vec(引入词向量?3.预训练语言模型:确定“预训练+微调”的学习范式4.大语言模型1.上下文学习(催眠?自然语言指令+任务演示,无需额外训练和梯度更新2.指令遵循(指令微调)训练集A+训练集B+指令->没有见过的任务3.逐步推理TOC逻辑平衡任务比例结合指令微调和预训练:为了使微调过程更加有效和稳定,在指令微调期间加入了预训练数据,这可以看作是对模型的正则化(regularization)。经过微调,模型的泛用性和性能都能得到提升。原创 2024-05-13 09:50:44 · 553 阅读 · 0 评论 -
Challenging BIG-Bench tasks and whether chain-of-thought can solve them--2024年5月7日
通过实验验证了 CoT 提示在BBH任务集上的有效性BBH:BIG-Bench 评估套件中那些特别具有挑战性的任务,包括算法和多步骤算术推理、自然语言理解、世界知识使用以及多语言知识和推理等。原创 2024-05-07 17:28:54 · 232 阅读 · 0 评论 -
A Survey on In-context Learning 2024年5月6日
随着大型语言模型(LLMs)能力的增强,上下文学习(ICL)已成为自然语言处理(NLP)领域的新范式,其中LLMs仅基于上下文中增加的一些示例进行预测。探索ICL以评估和推断LLMs的能力已成为一种新趋势。在本文中,我们旨在调查和总结ICL的进展和挑战。我们首先提出了ICL的正式定义,并阐明了它与相关研究的相关性。然后,我们组织并讨论了先进技术,包括训练策略、示例设计策略以及相关分析。最后,我们讨论了ICL的挑战,并为进一步研究提供了潜在方向。原创 2024-05-06 15:22:01 · 260 阅读 · 0 评论