![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
LLM
文章平均质量分 95
mingo_敏
这个作者很懒,什么都没留下…
展开
-
Large Language Model系列之三:大模型并行训练(Parallel Training of Large Language Models)
Large Language Model系列之三:大模型并行训练(Parallel Training of Large Language Models)原创 2024-07-19 15:54:03 · 440 阅读 · 0 评论 -
Large Language Model系列之二:Transformers和预训练语言模型
Large Language Model系列之二:Transformers和预训练语言模型。原创 2024-07-16 09:22:33 · 863 阅读 · 0 评论 -
Large Language Model系列之一:语言模型与表征学习(Language Models and Representation Learning)
语言模型与表征学习(Language Models and Representation Learning)原创 2024-07-16 08:50:33 · 902 阅读 · 0 评论 -
深度学习论文: LLaMA: Open and Efficient Foundation Language Models
本文介绍了LLaMA,这是一系列基础而先进的语言模型,其参数规模横跨7亿至65亿不等,展现了强大的语言处理能力。研究表明,通过大规模公开数据的训练,LLaMA系列模型成功打破了对专有或受限数据集的依赖,达到了业界最前沿(SOTA)的性能水平。本研究的核心目标是通过显著增加训练中的token数量,开发出在不同推理场景下均能展现出卓越性能的语言模型。LLaMA模型家族以其多样的参数配置,为语言模型领域带来了新的竞争力量。原创 2024-07-10 11:27:18 · 1587 阅读 · 1 评论 -
Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey
大型模型在多个领域取得了显著进展,但它们的大规模参数带来了高昂的计算成本。这些模型需要大量资源来执行,尤其是在针对特定任务进行定制时。参数有效微调(PEFT)提供了一种解决方案,它通过调整预训练模型的参数来适应特定任务,同时尽量减少额外的参数和计算资源消耗。本文对PEFT算法进行了全面研究,评估了它们的性能和计算成本,并探讨了使用这些算法的应用程序。同时,本文也讨论了降低PEFT成本的常用技术,并研究了不同系统设计中的实施成本。原创 2024-04-11 11:10:31 · 1171 阅读 · 0 评论