智能扩展：通过小型模型初始化加速大型语言模型预训练

于 2024-09-26 10:03:43 发布
阅读量583 收藏 9
点赞数 5
分类专栏： AIGC前沿技术追踪 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014021753/article/details/142548362
版权

现代语言模型规模庞大，训练成本高昂。例如，训练一个120亿参数的模型大约需要72000 GPU小时。而小型语言模型虽然训练成本低，但准确性往往不足。在这篇论文中，作者提出了一种名为HyperCloning的方法，它可以将预训练的小语言模型的参数扩展到更大模型的参数，同时增加隐藏维度，从而在训练时间和最终准确性方面带来优势。

01

—

HyperCloning 方法

丨**** 1.1 方法目标

  1. 扩展维度：更大的网络应比小网络有更大的隐藏维度，同时保持层数相同。
  2. 功能保留：转换后的大模型在最终层的logits应与小模型匹配。
  3. 低计算开销：从小模型到更大模型的转换过程应简单，避免大量计算或迭代更新。
  4. 训练循环不变：为便于部署，训练循环应保持不变，仅需修改网络初始化。

丨**** 1.2 核心技术

  1. 向量克隆
  2. 对于源网络（小模型）中的隐藏表示，通过堆叠n个副本得到n倍克隆版本。
  3. 对于源网络中的线性层（权重参数为Ws，偏差参数为bs），HyperCloning的目标是在目标网络中获得权重WD和偏差bD，使得输入和输出向量是源网络的克隆版本。根据输入/输出维度的扩展情况，线性层有三种不同的初始化情况（如论文图3所示）。
    • 论文图3
  4. 针对不同层的克隆细节
    • 线性层
      • 当只有输入扩展时（如论文图3中Case 1），相关参数有特定设置。
      • 当只有输出扩展时（如论文图3中Case 2），相关参数有特定设置。
      • 当输入和输出都扩展时（如论文图3中Case 3），相关参数有特定设置。
    • 注意力层
      • 当扩展每个注意力头的维度时，查询/键/值矩阵可视为单独的线性层进行扩展，并且需要对查询值进行缩放。
      • 当扩展注意力头的数量时，可直接复制注意力头，后续的全连接层也会相应扩展。
    • 归一化层
      • 克隆层归一化时，扩展仿射参数，可确保扩展后的层归一化输出是原始层归一化输出的克隆版本。
    • 位置嵌入层
      • 定义n倍克隆的位置嵌入，即通过重复小网络的位置嵌入n次来创建扩展网络的位置嵌入。

02

—

实验

丨**** 2.1 实验设置

  1. 模型架构

  • 使用三个开源基准模型进行实验：OPT、Pythia和OLMO。选择OPT - 350M、Pythia - 460M和OLMO - 1B作为基础预训练模型，然后使用HyperCloning构建三个更大的架构作为目标网络：OPT - 1.3B、Pythia - 1.4B和OLMO - 2.9B。

  1. 数据集和训练参数
    • 数据集使用由Groeneveld等人提供的DOLMA数据集，包含多个开源数据集，总计达2.4万亿个标记。训练时对数据进行洗牌，保持随机洗牌的种子相同。
    • 训练参数方面，使用AdamW优化器，权重衰减为0.05，β1 = 0.9，β2 = 0.999，采用梯度积累（16步）和zero_2梯度更新算法。学习率进行热身，经过一定迭代后进行衰减并最终保持恒定。不同模型的批量大小、上下文大小和学习率等参数有所不同（如论文表2所示）。

论文表2

丨**** 2.2 实验结果

  1. 与随机初始化的比较
    • 准确性
      • 使用Harness框架计算模型准确性，在10个不同任务上进行测量。如论文图4所示，HyperCloning显著提高了模型收敛后的准确性。
    • 论文图4
      • 如论文图2所示，计算10个工作的平均准确性并展示其在训练过程中的趋势，HyperCloning使网络更快地达到随机初始化基线的最终准确性，加速比在不同模型类型中从2.2倍到4倍不等。这是因为HyperCloning实现了知识从基础模型的转移，例如OLMO架构的基础模型已经在2.4T个标记上进行了训练，这些知识在训练开始前就转移到了目标模型中。

论文图2

- **灾难性遗忘**
    * 模型在使用HyperCloning初始化时，在训练开始时往往会出现灾难性遗忘，例如在OLMO基准测试的训练曲线中可以看到。但经过足够的训练，这种遗忘可以得到补偿，并且HyperCloning仍然大幅优于随机初始化。
  1. HyperCloning分析
    • 权重对称性
      • 对于n倍克隆，目标网络中的目标权重由源权重块归一化后初始化，其标准差是源网络权重标准差的1/n。在训练过程中，通过定义度量来评估克隆矩阵的对称性，如论文图5所示，最初所有层的余弦相似度为1，随着训练的进行，大多数层的余弦相似度下降，这表明模型在训练过程中利用了其有效参数空间。
    • 主成分分析
      • 分析HyperCloning收敛的另一种方法是检查权重矩阵的秩。由于克隆算法的复制性质，克隆矩阵的秩在初始化时最多等于基础矩阵的秩，这意味着模型在初始化时虽有合理准确性，但未充分利用其预测能力。但如论文图6所示，经过训练后，使用HyperCloning初始化的模型实现了与随机初始化模型相似的高秩权重。
  2. 替代扩展方法
    • 对几种权重扩展策略进行了实证评估，包括对称、对角、有噪对称和有噪对角等方法。如论文图7所示，所有克隆方法都优于随机初始化，其中对称和有噪对称方法表现最佳，对角方法的准确性提升最小。
  3. 基础模型准确性的影响

- 使用OPT - 350M基础模型的不同检查点（分别用160亿、320亿和640亿个标记训练）初始化目标OPT - 1.3B模型，并与随机初始化进行比较。如论文图8所示，使用基础模型初始化比随机初始化提高了准确性，并且使用更准确的基础网络初始化的克隆网络在训练开始时准确性更好，但随着训练的进行，曲线之间的差异变小。
  1. 基础模型大小的影响

- 创建目标模型OPT - 5.3B，通过HyperCloning可以用OPT - 1.3B（2倍克隆）或OPT - 350M（4倍克隆）进行初始化。如论文图9所示，用OPT - 350M或OPT - 1.3B初始化都比随机初始化收敛更快，且OPT - 1.3B的收敛效果比OPT - 350M更好，因为OPT - 1.3B更大且更准确。

03

—

相关工作

  1. 网络增长文献中的相关研究包括深度和宽度扩展等策略。例如，一些研究通过重复块权重来初始化更大的模型实现深度增长，而在宽度增长方面也有多种策略，但以往研究中的深度和宽度缩放策略大多不保留函数属性。
  2. 本文在宽度扩展方面进行了创新，将宽度扩展技术推广到解码器式变压器模型，包括对注意力层的扩展以及对位置嵌入的克隆函数定义等，并通过大规模模型和数据集的实验验证了方法的有效性。
  3. 与其他宽度扩展技术相比，本文的对称初始化方法比一些将扩展权重矩阵非对角元素初始化为零的方法收敛更快，并且通过实验证明了权重对称性在训练过程中会自然打破，同时提出了一种保留功能的噪声添加机制来提高模型收敛率。

本文介绍的HyperCloning是一种新颖的初始化策略，它可以将权重从较小的预训练源模型转移到较大的目标模型，过程简单有效且保留模型功能。通过这种方法，在语言模型训练中实现了更快的收敛和更好的最终准确性，实验中加速比达到2 - 4倍。同时，通过消融研究探索了源模型架构和不同权重克隆技术对目标模型收敛的影响。

论文地址：https://arxiv.org/pdf/2409.12903
原文链接：https://mp.weixin.qq.com/s/hlqvXPe2OcMw3WXv_CdUAQ

关于通过小型模型初始化加速大型语言模型预训练分享结束，如果对文章感兴趣别忘了点赞、关注噢~

RUN_1991
关注
专栏目录
【人工智能时代】- 大型语言模型（LLM）理论简介
xiaoli8748的专栏
08-19 1349
1.1 大型语言模型（LLM）的概念​大语言模型（LLM，Large Language Model），也称大型语言模型，是一种旨在理解和生成人类语言的人工智能模型。LLM 通常指包含数百亿（或更多）参数的语言模型，它们在海量的文本数据上进行训练，从而获得对语言深层次的理解。目前，国外的知名 LLM 有 GPT-3.5、GPT-4、PaLM、Claude 和 LLaMA 等，国内的有文心一言、讯飞星火、通义千问、ChatGLM、百川等。
大语言模型(LLM)综述(三)：大语言模型预训练的进展
qq_51957239的博客
10-24 1976
随着人工智能和机器学习领域的迅速发展，语言模型已经从简单的词袋模型（Bag-of-Words）和N-gram模型演变为更为复杂和强大的神经网络模型。在这一进程中，大型语言模型（LLM）尤为引人注目，它们不仅在自然语言处理（NLP）任务中表现出色，而且在各种跨领域应用中也展示了惊人的潜力。从生成文本和对话系统到更为复杂的任务，如文本摘要、机器翻译和情感分析，LLM正在逐渐改变我们与数字世界的互动方式。然而，随着模型规模的增加，也出现了一系列挑战和问题，包括但不限于计算复杂性、数据偏见以及模型可解释性。
实用技巧：加速PyTorch模型训练
qianggezhishen的专栏
08-14 1019
通常，预训练模型的最后一层是为原始任务设计的，例如ImageNet的1000类分类。您需要替换这一层以适应您的任务。# 假设您的任务有10个类别# 替换最后的全连接层。
自然语言处理从入门到应用——预训练模型总览：预训练模型的拓展
热门推荐
冯·诺依曼
07-02 1万+
从大量无标注数据中进行预训练使许多自然语言处理任务获得显著的性能提升。
使用较少的 token 对小型基语言模型进行预训练
yorkhunter的博客
05-30 918
24年4月UT Austin的论文“Pre-training Small Base LMs with Fewer Tokens”。
推荐AI智能代理：将大型语言模型整合到交互式推荐系统中
数智笔记
04-24 819
推荐模型以利用大量用户行为数据为基础，擅长提供特定领域的物品推荐。尽管它们可以作为轻量级领域专家，但在提供解释和参与对话等多样化任务方面仍然面临困难。另一方面，大型语言模型（LLMs）代表了人工通用智能的重要进展，在指导理解、常识推理和人类交互方面展示了显著的能力。然而，LLMs缺乏领域特定物品目录和行为模式的知识，特别是在与在线电子商务等与一般世界知识有所偏差的领域。为每个领域微调LLMs既不经济又不高效。在本文中，我们将推荐模型和LLMs联系起来，结合它们各自的优势，创建了一个多功能的交互式推荐系统。
大语言模型：综述 （中）
xzp740813的博客
06-06 942
23年6月人大和蒙特利尔大学的论文“A Survey of Large Language Models”。继续介绍LLM的预训练和自适配。预训练预训练奠定了 LLM 能力的基础。通过在大规模语料库上进行预训练，LLM 可以获得基本的语言理解和生成技能 [55, 56]。在此过程中，预训练语料库的规模和质量对于 LLM 获得强大的能力至关重要。此外，为了有效地预训练 LLM，需要精心设计模型架构、加速方法和优化技术。数据收集。
论文阅读笔记：《自然语言处理中的预训练模型》
weixin_41089007的博客
04-08 5559
Pre-trained Models for Natural Language Processing: A Survey 写在前面： 随着2018年ELMo、BERT等模型的发布，NLP领域进入了“大力出奇迹”的时代。采用大规模语料上进行无监督预训练的深层模型，在下游任务数据上微调一下，即可达到很好的效果。曾经需要反复调参、精心设计结构的任务，现在只需简单地使用更大的预训练数据、更深层的模型便...
大语言模型(LLM)综述(四)：如何适应预训练后的大语言模型
qq_51957239的博客
10-27 1425
随着人工智能和机器学习领域的迅速发展，语言模型已经从简单的词袋模型（Bag-of-Words）和N-gram模型演变为更为复杂和强大的神经网络模型。在这一进程中，大型语言模型（LLM）尤为引人注目，它们不仅在自然语言处理（NLP）任务中表现出色，而且在各种跨领域应用中也展示了惊人的潜力。从生成文本和对话系统到更为复杂的任务，如文本摘要、机器翻译和情感分析，LLM正在逐渐改变我们与数字世界的互动方式。然而，随着模型规模的增加，也出现了一系列挑战和问题，包括但不限于计算复杂性、数据偏见以及模型可解释性。
MInference 1.0: 利用动态稀疏注意力加速长上下文大语言模型预填充
步子哥的博客
07-04 154
大型语言模型 (LLM) 推理的计算挑战仍然是其广泛部署的重大障碍，尤其是随着提示长度的不断增加。由于注意力计算的二次复杂性，一个 8B 的 LLM 在单个 A100 GPU 上处理 1M 个标记的提示（即预填充阶段）需要 30 分钟。现有的加速预填充的方法在应用于长上下文 LLM 时，往往无法保持可接受的准确性和效率。为了解决这一差距，我们引入了 MInference（百万标记推理），这是一种专为加速长序列处理的预填充而设计的稀疏计算方法。
bert2BERT：重用预训练语言模型的有效方法
然而，大型语言模型的预训练需要耗费大量的计算资源，而且大多数模型都是从头开始训练，没有重用已有的预训练模型，这是 一 种 浪 费 。 在 本 文 中 ， 我 们 提 出 了bert2BERT，它可以有效地转移现有的较小的预...
大语言模型原理与工程实践：大语言模型的缩放定律
AI天才研究院
07-04 813
近年来，大语言模型（Large Language Models，LLMs）在自然语言处理领域取得了突破性进展。从GPT-3到ChatGPT，再到最新的GPT-4，这些模型展现出惊人的语言理解和生成能力，引发了学术界和工业界的广泛关注。在这一系列的发展中，一个引人注目的现象逐渐浮现：随着模型规模的增大，其性能似乎遵循某种可预测的规律。这种规律被称为"缩放定律"（Scaling Laws），它不仅揭示了大语言模型性能提升的内在机制，也为未来模型的设计和优化提供了重要指导。
大语言模型原理与工程实践：预训练语言模型原理与实战
AI架构设计之禅
06-06 575
自然语言处理（NLP）是人工智能领域的一个重要分支，它涉及到计算机如何理解和处理人类语言。在过去的几年中，深度学习技术的发展使得NLP领域取得了巨大的进展，其中最重要的一项技术就是预训练语言模型。预训练语言模型是指在大规模语料库上进行训练的神经网络模型，它可以学习到自然语言的语法、语义和上下文信息，并且可以用于各种NLP任务，如文本分类、命名实体识别、机器翻译等。近年来，预训练语言模型已经成为NLP领域的热门话题，吸引了众多研究者和工程师的关注。
零售业的数字化转型与消费者体验升级
weixin_58820787的博客
09-24 655
在数字化浪潮的推动下，零售业正经历着前所未有的变革。数字化转型不仅为零售商带来了新的商业模式和运营效率的提升，更重要的是，它极大地提升了消费者的购物体验。金智维将探讨零售业如何通过数字化转型，实现线上线下融合、智能推荐、个性化服务等方面的升级，以满足消费者日益增长的需求。
音频3A——初步了解音频3A
山河君的分享博客
09-23 1477
在日常的音视频通话过程中，说话的双端往往会面对比较复杂的场景，比如：环境存在较大的噪声，扬声器需要开启外放导致麦克风重新采集到，麦克风固定而人物需要走来走去等等的场景。而为了面对这些复杂的场景，音频通话不得不引入算法对于声音进行预处理，再进行发送给远端。而3A是对于音视预处理的三种算法的统称。AEC（Acoustic Echo Cancellation）：声学回声消除AGC (Automatic Gain Control)：自动增益控制。
【LLM论文日更】| 俄罗斯套娃嵌入模型
qq_59084968的博客
09-22 1134
适应性图像检索也达到了效率和精度的权衡，16维度做粗排，2048维度做精排的准确率已经和直接使用2048维度做排序的精度还高，但计算量大幅减小。：为了提高效率，MRL采用了权重绑定技术，即所有线性分类器的权重相同，从而减少内存成本。每个嵌入的前几个维度是一个信息丰富的低维向量，随着维度的增加，表示逐渐变得粗糙。本文将MRL/MRL-E模型与单独训练的低维表征（FF），SVD分解，子网络[2]方法进行了比较。16-32-64-128-256-2048 对前200-100-50-25-10个样本的。
Her来了，OpenAI正式发布高级语音模式
最新发布
shadowcz007的博客
09-25 208
OpenAI宣布将Advanced Voice Mode（AVM）扩展到更多付费用户，包括ChatGPT的Plus和Teams用户。该功能旨在使ChatGPT的语音交互更加自然，并新增五种新声音和改进的口音识别能力。虽然Sky声音因法律争议被移除，但AVM的整体设计和性能得到了提升。新版本不仅能在用户打断时立即停止回答，还能根据用户语音中的情感调整响应。此外，视频和屏幕共享功能暂未推出。AVM目前...
UIKit-Camera
qq_43535469的博客
09-23 271
负责将AVCaptureDevice 转换为输入流，方便captureSession捕捉。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值