大模型实战
文章平均质量分 93
人工智能培训咨询叶梓
叶梓,长期负责城市信息化智能平台的建设工作,牵头多个省级、市级智能化信息系统的建设,主持设计并搭建多个行业省级、市级大数据平台。提供人工智能相关的培训和咨询
展开
-
QLORA:高效微调量化大型语言模型
人工智能咨询培训老师叶梓 转载标明出处传统的16位精度微调需要超过780GB的GPU内存,对于参数量极大的模型,如65B(即650亿参数)的模型,在资源有限的情况下大模型的微调几乎是不可能的。华盛顿大学的研究者团队提出了一种名为QLORA的高效微调方法。它通过量化技术和低秩适配器(LoRA)显著降低了微调过程中的内存需求,使得在单个消费级 GPU 上微调高达65B参数的模型成为可能。QLORA 不仅减少了资源消耗,还保持了与全精度16位微调相当的性能,为大型模型的微调和部署开辟了新的可能性。原创 2024-10-18 10:45:00 · 526 阅读 · 0 评论 -
VeRA——更高效的大型语言模型微调方法
人工智能咨询培训老师叶梓 转载标明出处大模型在特定任务上的高效适应性训练面临着巨大的挑战,尤其是在需要针对大量用户或任务进行个性化调整时,存储和计算资源的需求急剧增加。为了解决这一问题,来自阿姆斯特丹大学QUVA实验室的研究者团队提出了一种名为Vector-based Random Matrix Adaptation(VeRA)的新方法,旨在显著减少在微调大模型时所需的可训练参数数量,同时保持模型性能。VeRA方法的核心在于通过重新参数化权重矩阵来最小化微调过程中引入的可训练参数数量。原创 2024-10-18 16:15:00 · 1164 阅读 · 0 评论 -
参数高效微调(PEFT)综述
人工智能咨询培训老师叶梓 转载标明出处大模型如BERT和GPT-3的参数数量庞大,动辄数十亿甚至数千亿级别,给进一步的微调和应用带来了巨大的挑战。针对这一问题,Vladislav Lialin、Vijeta Deshpande、Anna Rumshisky等研究者中提出了一系列参数高效微调(PEFT)的方法。旨在解决如何在不牺牲性能的前提下,减少对大模型进行微调时所需的计算资源和内存消耗。原创 2024-10-17 10:45:00 · 773 阅读 · 0 评论 -
自我指导:提升语言模型自我生成指令的能力
人工智能咨询培训老师叶梓 转载标明出处传统的语言模型,尤其是经过指令微调的大型模型,虽然在零样本(zero-shot)任务泛化上表现出色,但它们高度依赖于人类编写的指令数据。这些数据往往数量有限、多样性不足,且缺乏创造性,限制了模型的泛化能力。原创 2024-10-16 15:25:21 · 863 阅读 · 0 评论 -
DPO:直接偏好优化简化语言模型的偏好训练
人工智能咨询培训老师叶梓 转载标明出处如何精确控制大规模无监督语言模型(LMs)的行为一直是一个挑战。这些模型虽然通过大量数据学习到了广泛的世界知识和一些推理技能,但由于其训练的无监督性质,使得它们的行为难以精确控制。现有的方法通过收集人类对模型生成内容的相对质量标签,然后通过人类反馈的强化学习(Reinforcement Learning from Human Feedback, RLHF)对无监督LM进行微调,以使其行为与这些偏好对齐。原创 2024-10-15 10:30:00 · 792 阅读 · 0 评论 -
通过人类反馈微调语言模型以更好地遵循用户意图
人工智能咨询培训老师叶梓 转载标明出处大模型在实际应用中常常表现出与用户意图不一致的行为,例如生成不真实的信息、带有偏见或有毒的内容,或是简单地不遵循用户的指令。这些问题的存在限制了语言模型在更广泛领域的应用潜力。针对这一挑战,OpenAI的研究团队提出了一种新的方法,通过人类反馈对语言模型进行微调,以期更好地对齐模型行为与用户意图。原创 2024-10-14 14:44:15 · 689 阅读 · 0 评论 -
Google Research 推出高效的Prompt Tuning方法
人工智能咨询培训老师叶梓 转载标明出处一般模型微调方法需要对预训练模型的所有参数进行调整,这在大规模模型中既耗时又耗资源。Google Research的研究团队提出了一种名为“Prompt Tuning”的方法,旨在通过学习“软提示”来调整冻结的语言模型,使其能够更好地完成特定的下游任务。这种方法不仅简单有效,而且在模型规模增大时,其性能逐渐接近全模型微调(Model Tuning)的效果。图2通过对比模型调整和提示调整在处理不同下游任务时的模型复制和推理方式,展示了提示调整在参数效率上的优势。原创 2024-10-14 10:45:00 · 631 阅读 · 0 评论 -
动态超图对比学习:一种新的多关系药物-基因交互预测方法
人工智能咨询培训老师叶梓 转载标明出处药物与基因之间的交互(DGI)预测对于新药发现和疾病管理至关重要。传统实验方法成本高昂,而计算方法则旨在准确且经济地检测DGI。尽管基于图神经网络(GNN)的方法在DGI预测中表现出色,但它们在数据稀疏和噪声较多的情况下性能会下降。而且GNN模型在训练时需要大量的DGI信号,这在实际的药物发现场景中往往难以满足。为此来自湖南大学的文涛、刘远生、湘潭大学的林轩以及湖南大学的宋波生和曾祥祥教授提出了一种名为动态超图对比学习(DGCL)的新框架。原创 2024-10-13 10:45:00 · 790 阅读 · 0 评论 -
提升多跳问答中的语言模型知识编辑能力
人工智能咨询培训老师叶梓 转载标明出处大模型在静态知识库的更新上存在局限,特别是在面对需要多步骤推理的多跳问题时,难以提供准确和最新的回答。为了解决这一问题,来自美国佐治亚大学、纽约大学、莱斯大学、北卡罗来纳州立大学等机构的研究人员提出了一种名为“检索增强型知识编辑(Retrieval-Augmented model Editing, RAE)”的框架。图1展示了一个例子,说明了传统的基于相似度的搜索方法在检索用于语言模型编辑的正确事实时的不足,以及如何通过更复杂的检索策略来改进这一过程。原创 2024-10-12 10:45:00 · 1555 阅读 · 0 评论 -
HiGPT:异构图语言模型的突破
人工智能咨询培训老师叶梓 转载标明出处人工智能领域的一大挑战是如何从海量复杂的数据中提取有价值的信息,特别是在处理异构图数据时。异构图由多种类型的节点和边组成,它们之间的相互关系丰富而复杂。传统的图神经网络(GNNs)在处理这类数据时,往往受限于其对特定图结构的依赖,难以适应新的、未见过的数据集。这限制了模型在不同领域和任务中的泛化能力。为了解决这一问题。由香港大学与百度公司联合研究团队提出的HiGPT模型,一个无需针对下游数据集进行微调即可学习的通用大型图模型,为这一问题提供了新的解决方案。原创 2024-10-11 10:45:00 · 558 阅读 · 0 评论 -
检索增强型语言模型——更可靠、可适应、可归因的下一代语言模型
检索增强型LMs具有多种架构,这些架构基于三个主要维度:检索文本的单位(z的粒度)、如何整合检索到模型中(z的整合方式),以及检索的频率。另外检索器和语言模型之间的交互有限,常见的方法如RAG,通常只是将检索结果附加到预训练的参数化语言模型的输入上,缺乏检索和语言模型组件之间的紧密交互。尽管显著的架构修改或预训练需要大量的计算,但在资源受限的环境中,探索预训练后的检索增强型LMs的适应是一个有前景的途径。通过改进的归因和数据存储库的更新,检索增强型LMs能够更好地适应不同的应用需求。原创 2024-10-10 10:45:00 · 771 阅读 · 0 评论 -
P-Tuning v2:一种普遍有效的提示调整方法
人工智能咨询培训老师叶梓 转载标明出处预训练语言模型通过微调(fine-tuning)来适应特定任务虽然效果显著,但存在训练成本高、参数存储量大等问题。为了解决这些问题,清华大学的研究者们提出了一种名为P-Tuning v2的提示调整(prompt tuning)方法,该方法在不同规模的模型和多种自然语言理解(NLU)任务中表现出与微调相媲美的性能,同时大幅减少了训练时的存储和内存使用。原创 2024-10-09 21:06:58 · 863 阅读 · 0 评论 -
P-Tuning,提升预训练语言模型的自然语言理解能力
人工智能咨询培训老师叶梓 转载标明出处预训练语言模型在具体任务上的表现往往依赖于精心设计的离散提示(prompts),但这些提示有着不稳定性,微小的变化可能导致性能的大幅下降。清华大学和麻省理工学院的研究团队提出了一种名为P-Tuning的新方法,通过引入可训练的连续提示嵌入(continuous prompt embeddings),与离散提示相结合,旨在提高模型的稳定性和性能。图1为使用P-Tuning方法在SuperGLUE的7个开发数据集上的平均得分。原创 2024-10-08 18:00:00 · 954 阅读 · 0 评论 -
大模型微调中的内存效率问题及解决方案
人工智能咨询培训老师叶梓 转载标明出处大模型(LLMs)在大规模训练中的内存消耗问题日益凸显,传统的参数高效微调技术,如低秩适应(LoRA),虽然在一定程度上缓解了这一问题,但其性能在很多大规模微调场景下仍无法与全参数训练相媲美。为了解决上述问题,香港科技大学以及伊利诺伊大学香槟分校的研究团队共同提出了一种新的训练策略——Layerwise Importance Sampled AdamW(LISA)。原创 2024-10-07 10:45:00 · 709 阅读 · 0 评论 -
MOELoRA —— 多任务医学应用中的参数高效微调方法
人工智能咨询培训老师叶梓 转载标明出处在医疗场景中,LLMs可以应用于多种不同的任务,如医生推荐、诊断预测、药物推荐、医学实体识别、临床报告生成等。这些任务的输入和输出差异很大,给统一模型的微调带来了挑战。而且LLMs的参数众多,导致微调过程中时间和计算资源的消耗巨大。针对这些问题,来自西安交通大学、香港城市大学、腾讯YouTu Lab等机构的研究者们提出了一种新颖的参数高效微调框架——MOELoRA。原创 2024-10-06 10:45:00 · 1644 阅读 · 0 评论 -
LLaVA-MoLE:解决多模态大模型指令微调中的数据冲突问题
人工智能咨询培训老师叶梓 转载标明出处多模态大模型(MLLMs)通过指令微调(instruction finetuning),能够执行各种任务,如理解图表、处理文档和回答基于图像的问题。但是,当从不同领域混合指令数据进行微调时,模型在特定领域的任务上可能会出现性能下降。这种现象被称为数据冲突,它限制了通过增加新领域训练数据来扩展MLLM能力的可能性。原创 2024-10-05 10:45:00 · 1739 阅读 · 0 评论 -
前缀调整——优化连续提示以生成文本
人工智能咨询培训老师叶梓 转载标明出处大模型微调需要更新并存储模型的所有参数,这不仅增加了存储成本,也使得模型的部署变得复杂。为了解决这一问题,斯坦福大学的Xiang Lisa Li和Percy Liang提出了一种名为“前缀调整”(Prefix-Tuning)的轻量级替代方案。原创 2024-10-04 10:45:00 · 918 阅读 · 0 评论 -
LLaVA-MoLE:解决多模态大模型指令微调中的数据冲突问题
人工智能咨询培训老师叶梓 转载标明出处多模态大模型(MLLMs)通过指令微调(instruction finetuning),能够执行各种任务,如理解图表、处理文档和回答基于图像的问题。但是,当从不同领域混合指令数据进行微调时,模型在特定领域的任务上可能会出现性能下降。这种现象被称为数据冲突,它限制了通过增加新领域训练数据来扩展MLLM能力的可能性。原创 2024-10-03 10:30:00 · 821 阅读 · 0 评论 -
前缀调整——优化连续提示以生成文本
人工智能咨询培训老师叶梓 转载标明出处大模型微调需要更新并存储模型的所有参数,这不仅增加了存储成本,也使得模型的部署变得复杂。为了解决这一问题,斯坦福大学的Xiang Lisa Li和Percy Liang提出了一种名为“前缀调整”(Prefix-Tuning)的轻量级替代方案。原创 2024-10-02 10:45:00 · 1028 阅读 · 0 评论 -
LoRAHUB:通过动态LoRA组合实现高效的跨任务泛化
大模型在微调时面临着计算效率和内存使用上的挑战。为了克服这些问题,研究者们提出了低秩适应(LoRA)技术,通过在模型的每层中引入可训练的低秩分解矩阵作为适配器模块,以参数高效的方式微调LLMs。尽管LoRA在提高效率方面取得了进展,但关于LoRA模块的内在模块化和可组合性的研究还相对缺乏,来自Sea AI Lab、华盛顿大学圣路易斯分校和艾伦人工智能研究所的研究人员提出的LoRAHUB的新框架,正是为了探索LoRA模块的这一潜力,通过组合在不同任务上训练的LoRA模块,以适应新任务。原创 2024-10-01 10:45:00 · 759 阅读 · 0 评论 -
优化大模型微调:MoLA层级专家分配策略
人工智能咨询培训老师叶梓 转载标明出处大模型(LLMs)的微调过程中,计算资源的需求巨大,这促使研究者们探索参数高效微调(PEFT)技术。低秩适应(LoRA)和专家混合模型(MoE)的结合显示出了提升性能的潜力,但大多数现有方法只是简单地在MoE框架下用LoRA适配器替换专家,并且每一层都分配相同数量的专家。这种方法可能会导致一些问题,比如由于表示崩溃或学习到的路由策略过拟合,导致专家之间的冗余。原创 2024-09-30 21:25:39 · 1097 阅读 · 0 评论 -
LoRAMoE:缓解大模型的世界知识遗忘问题
人工智能咨询培训老师叶梓 转载标明出处大模型(LLMs)在进行SFT时,通过增加指令数据量来提升其在多个下游任务中的性能或显著改善特定任务的表现。但研究者们发现,这种大规模的数据增加可能会导致模型遗忘其预训练阶段学习到的世界知识。这种遗忘现象在封闭书籍问答等任务中尤为明显,这些任务通常用来衡量模型的世界知识水平。为了应对这一挑战,复旦大学的研究团队提出了LoRAMoE框架。原创 2024-09-30 10:30:00 · 1460 阅读 · 0 评论 -
推动专家混合模型的极限:用于指令调优的极端参数高效MoE
人工智能咨询培训老师叶梓 转载标明出处MoE是一种在特定子任务上具有专门化子模型(专家)的神经网络架构,这些子模型可以独立优化,以提高整体性能。然而,传统的MoE在大规模应用时面临挑战,因为需要在内存中存储所有专家。这不仅增加了内存的需求,而且在完全微调(full fine-tuning)时计算成本极高。为了克服这些限制,Cohere for AI的研究团队提出了一种极端参数高效的MoE方法。该方法通过将MoE架构与轻量级专家相结合,实现了在只更新不到1%的参数的情况下,与全参数微调相媲美的性能。原创 2024-09-29 14:06:03 · 1000 阅读 · 0 评论 -
LoRA - 大模型的低秩适应方法
人工智能咨询培训老师叶梓 转载标明出处大规模预训练模型,如GPT-3,拥有高达1750亿参数,全参数微调不仅计算成本高昂,而且部署和维护多个微调实例变得非常困难。而且全参数微调需要大量的GPU内存,限制了同时训练的模型数量和并行实验的能力。表1为GPT-2中型模型使用不同方法进行推理时的延迟(以毫秒计)。表格中列出了不同批量大小、序列长度和可训练参数数量下的推理时间。原创 2024-09-29 10:30:00 · 1736 阅读 · 0 评论 -
参数高效的迁移学习在自然语言处理中的应用
人工智能咨询培训老师叶梓 转载标明出处迁移学习技术,尤其是针对大型预训练模型的微调(fine-tuning),在诸多下游任务中展现出了卓越的性能。然而,当面临众多任务时,传统的微调方法存在参数效率低下的问题,因为它需要为每个新任务训练一个全新的模型。为了解决这一问题,本文提出了一种使用适配器模块(Adapter Modules)进行迁移学习的新方法,该方法由Neil Houlsby、Andrei Giurgiu、Stanisław Jastrzebski等研究者共同提出。原创 2024-09-28 16:45:00 · 1827 阅读 · 0 评论 -
新审视零阶优化在内存高效大模型微调中的应用
人工智能咨询培训老师叶梓 转载标明出处随着大模型模型规模的增大,反向传播(BP)所需的内存开销也日益增加,这对内存效率提出了挑战。尤其是在设备上训练等内存效率至关重要的应用场景中,解决这一问题变得尤为迫切。本文提出了一种新的方法,即在LLM微调过程中,采用零阶(Zeroth-Order, ZO)优化算法替代传统的需要反向传播的一阶(First-Order, FO)优化算法,以降低内存成本。这种BP-free的优化方法基于Malladi等人在2023年提出的初始概念。原创 2024-09-27 16:00:01 · 311 阅读 · 0 评论