LLM-融合
文章平均质量分 92
LLM-融合
nopSled
一周一更
展开
-
KNOWLEDGE FUSION OF LARGE LANGUAGE MODELS翻译
随着 GPT 和 LLaMA 系列等大型语言模型 (LLM) 在广泛的自然语言处理 (NLP) 任务中不断取得成功,创建自己的 LLM 已成为企业的战略当务之急。然而,与LLM开发相关的成本是天文数字。除了需要大量的训练数据、先进的技术、大量的计算资源和熟练的专家外,开发过程还对能源消耗和环境造成巨大的压力。虽然这些LLM在结构和功能上存在差异,但它们在一系列 NLP 任务中具有相似的能力。翻译 2024-03-29 04:44:22 · 126 阅读 · 0 评论 -
Mixture-of-Experts Meets Instruction Tuning: A Winning Combination for Large Language Models翻译
近年来,由于越来越大且复杂的深度学习模型的发展,自然语言处理(NLP)领域取得了显着进步。在这些模型中,由于它们在捕获复杂的语言模式并泛化到多样化上下文的无与伦比的能力,因此,基于transformer的语言模型已成为广泛NLP任务的事实上的标准。训练此类模型的一个特别成功的范式是指令微调,它通过调整预训练表示来遵循自然语言指令,以提高其在特定任务上的性能。尽管大型语言模型(LLM)的好处是无可争议的,但它们迅速增长的规模和计算要求在训练效率,内存占用和部署成本方面构成了重大挑战。翻译 2023-07-31 15:18:40 · 729 阅读 · 0 评论 -
LLM-BLENDER: Ensembling Large Language Models with Pairwise Ranking and Generative Fusion翻译
大型语言模型(LLM)在各种任务中表现出令人印象深刻的性能,这主要是由于其指令遵循和访问广泛高质量数据的能力,并在通用人工智能方向展现了有希望的未来。但是,诸如GPT-4和PaLM之类的优秀LLM都是闭源的,这限制了对其网络结构和训练数据的了解。Pythia,LLaMA和Flan-T5等开源LLM提供了在自定义指令数据集中微调这些模型的机会,从而可以开发较小但高效的LLM,例如Alpaca,Vicuna,OpenAssistant和MPT。翻译 2023-07-26 16:20:14 · 329 阅读 · 0 评论