大模型增量预训练参数说明

最新推荐文章于 2024-09-07 22:26:58 发布
最新推荐文章于 2024-09-07 22:26:58 发布
阅读量954 收藏 11
点赞数 22
分类专栏： 领域模型三阶段训练 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48030475/article/details/134587698
版权
本文详细介绍了增量预训练过程中涉及的模型参数、数据参数、额外参数和训练参数，包括模型类型、数据集配置、目标模块、训练输出目录等关键设置，旨在帮助理解并优化深度学习大模型的训练过程。
摘要由CSDN通过智能技术生成

在增量预训练过程中通常需要设置三类或四类参数，模型参数，数据参数，训练参数，额外参数。

下面分别针对这四种参数进行说明。

欢迎关注公众号

模型参数

  1. model_type

模型类型，例如bloom,llama，baichuan，qwen等。

  1. model_name_or_path

模型名称或者路径。

  1. tokenizer_name_or_path

分词器名称或者路径。如果进行了词表扩充或裁剪，则tokenizer_name_or_path和model_name_or_path不同。

  1. load_in_8bit

是否以8bit加载模型。

  1. load_in_4bit

是否以4bit加载模型。

  1. use_fast_tokenizer

是否使用快速分词器。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
hj_caas
关注
  • 22
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
增量预训练baichuan-13b-chat遇到的那些坑
qq_44193969的博客
07-30 2339
增量预训练百川13b-chat
一文搞懂SFT、RLHF、DPO、IFT
u012374012的专栏
08-22 1018
SFT、RLHF 和 DPO 都是先估计 LLMs 本身的偏好，再与人类的偏好进行对齐；SFT 只通过 LLMs 生成的下一个单词进行估计，而 RLHF 和 DPO 通过 LLMs 生成的完整句子进行估计，显然后者的估计会更准确；虽然 RLHF 和 DPO 取得比 SFT 好的结果，但代价是高昂的数据构造和计算资源开销；IFT 通过引入时序残差连接，仅使用多推理一步的开销，就可以融合 SFT、RLHF 和 DPO 的训练目标，摆脱对偏好数据和参考模型的依赖，保证训练目标与真实生成目标更加相近；
大模型增量预训练新技巧：解决灾难性遗忘
python123456_的博客
07-24 793
该方法主要通过增加恒定块扩展模型层数，使模型在增量训练过程中仅训练新增层、冻结原始层，保持模型原有能力，防止模型出现灾难性遗忘现象。但有两点存疑：目前来说mistral要好于llama，为啥不用mistral进行实验不用恒定块，性能会差多少​。
基于llama模型进行增量预训练
热门推荐
yuyangchenhao的博客
06-19 1万+
大家知道AI模型是怎么训练出来的吗？AI模型的训练训练过程分为如下三个阶段第一个阶段叫做无监督学习（PreTraining），就是输入大量的文本语料让GPT自己寻找语言的规律， 这样一个巨大的词向量空间就形成了，但是话说的漂亮并不一定正确。第二个阶段叫做监督学习(Supervised Fine-Tuning,也叫微调)，就是人工标注一些语料，教会GPT什 么该说，什么不该说。（训练数据集）
大语言模型的简易可扩展增量预训练策略
qq_20144897的博客
08-15 1143
大语言模型（LLMs）通常需要在数十亿个tokens上进行预训练，一旦有了新数据，又要重新开始训练。更有效的解决方案是增量预训练（Continue PreTraining）这些模型，这与重新训练相比可以节省大量的计算资源。然而，新数据带来的分布偏移通常会导致在旧数据上的性能下降或者对新数据的适应性不佳。
大模型预训练中的数据处理及思考
2201_75499313的博客
06-12 1637
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学.针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。大模型预训练需要从海量的文本数据中学习到充分的知识存储在其模型参数中。预训练所用的数据可以分为两类。一类是网页数据（web data），这类数据的获取最为方便，各个数据相关的公司比如百度、谷歌等每天都会爬取大量的网页存储起来。
增量预训练和微调的区别
一起来研究langchain和langchain-chatchat
07-17 1493
增量预训练是一种在现有预训练模型的基础上，通过引入新的数据或任务来进一步训练模型的方法。这种方法的主要目的是在不从头开始训练模型的情况下，利用新数据或特定领域的数据增强模型的能力和性能。选择基础模型：选择一个已经预训练的模型，例如BERT、GPT等。准备新数据：收集和整理新的训练数据，通常是与现有任务相关的数据，或是针对特定领域的数据。继续训练：使用新的数据在基础模型上进行进一步的训练。这一步可以包括全量训练（对所有模型参数进行调整）或部分训练（只调整部分参数，如顶层的几层）。评估与调整。
wenet-基于预训练模型进行增量训练
流音寻帆的博客
06-02 3189
将本地准备好的F:/wenet数据集/0529_0531_merge/chuli下的train、dev、test中的text、wav.scp两个文件分别拷贝到远程/hy-tmp/wenet/examples/aishell/s0/data下对应的train、dev、test文件夹下。将准备好的数据文件0529_0531_dataset，上传到恒源云上的/hy-tmp/wenet/examples/aishell/s0下。其中0529_0531_dataset是前面上传的训练数据文件夹。
大模型预训练与微调
weixin_40929413的博客
05-04 1297
动作：Fine-tuning需要微调整个预训练整个预训练语言模型，且额外添加了新的参数，而Prompting则可以将整个预训练语言模型的参数保持固定，而只需要添加prompt来预测效果即可。和其他大部分高效微调方法一样，固定预训练语言模型的参数，额外增加新的参数来学习，不同的是新增的模块是一个低秩的模块，即增加低秩分解的矩阵来适配下游任务。：表示将输入的数据进行前向和后向传播的一个过程。（1）冻结部分参数：为了保持与训练模型的初始表示能力，通常会冻结部分参数，特别是底层的参数，使其在微调过程中保持不变。
数据对大模型预训练效果的影响
weixin_43961909的博客
05-23 861
为了定量分析数据质量对于模型性能的影响，GLaM 模型对比了在原始数据和经过质量过滤的数据集上训练的模型性能，发现在各种自然语言处理任务上，在高质量数据上训练的模型都能取得更为出色的表现。此外，大语言模型所掌握的知识信息也来源于预训练数据，这意味着如果模型在包含事实性错误的、过时的数据上进行训练，那么它在处理相关主题时可能会产生不准确或虚假的信息，这种现象被称为“幻象”。例如，相关研究表明，在测试集合完全泄露的极端情况下，1.3B 的模型甚至在大部分任务超过了正常测评的 65B 的大语言模型。
强大预训练模型用于类增量学习
Large Pretrained Classifier w/ Label Set Yw/ Label Set YUpdated Classifier w/ Label Set Y ∪ YYY96010使用强大的预训练模型进行类增量学习0Tz-Ying Wu 1, 2 Gurumurthy Swaminathan 1 Zhizhong Li 10...
LLM-大模型训练-步骤(二)-预训练/Pre-Training(1)：全参数预训练(Full-Param Pre-Training)【对LLaMA等模型进一步全量参数预训练】【中文无监督学习语料】
u013250861的博客
06-24 1915
全参数预训练（Full-Param Pre-training）： KnowLM/assets/main_new.jpg at main · zjunlp/KnowLM · GitHub
卷积神经网络综述
XU157303764的博客
09-03 1026
本文对卷积神经网络（Convolutional Neural Network，CNN）进行了全面综述。首先介绍了卷积神经网络的发展历程，包括早期的理论基础和关键突破。接着详细阐述了卷积神经网络的结构组成，包括卷积层、池化层、全连接层等，分析了各层的作用和特点。然后探讨了卷积神经网络在图像识别、目标检测、语义分割等多个领域的应用，并介绍了一些典型的应用案例。此外，还讨论了卷积神经网络的训练方法和优化技巧，包括数据增强、正则化、超参数调整等。最后，对卷积神经网络的未来发展趋势进行了展望。
【深度学习 transformer】transformer 训练一个文本分类任务，超简单了
赖德发的博客
09-03 812
请注意，这只是一个简化的示例，实际代码可能会更复杂，具体取决于您选择的模型和配置。此外，Happy Transformer的API可能会随着时间的推移而更新，因此请确保查看最新的文档以获取最新的信息。请注意，这只是一个简化的示例，实际代码可能会更复杂，具体取决于您选择的模型和配置。此外，Happy Transformer的API可能会随着时间的推移而更新，因此请确保查看最新的文档以获取最新的信息。在这个预测代码中，我们首先使用Happy Transformer的API加载训练好的模型。
基于深度学习的自动化产品设计
weixin_42605076的博客
09-07 456
基于深度学习的自动化产品设计通过结合生成模型、强化学习和仿真技术，实现了产品设计流程的高效化和智能化。这种方法为工业、建筑、时尚等多个领域带来了创新的可能性，同时也面临着数据、效率和信任度等方面的挑战。随着深度学习技术的不断发展和成熟，自动化产品设计将在更多领域中发挥重要作用，并促进更智能、更创新的设计实践。
如何将卷积神经网络（CNN）应用于医学图像分析：从分类到分割和检测的实用指南
最新发布
loveting99的博客
09-07 289
U-Net：U-Net是一种用于生物医学图像分割的卷积网络。它的关键特点是具有对称的编码器-解码器结构和跳跃连接（skip connections），可以更好地保留和利用图像的空间信息。DeepLab：DeepLab使用空洞卷积（dilated convolutions）来扩展卷积核的感受野，同时保持图像的分辨率，并结合条件随机场（CRFs）进一步精细化分割结果。：YOLO通过将图像划分为网格，并在每个网格中预测边界框和类别，具有实时检测的优势。
构建并训练卷积神经网络（CNN）对CIFAR-10数据集进行分类
异构算力老群群（在读985计算机博士生）的技术博客
09-06 1182
接下来，我们定义一个简单的卷积神经网络。该网络包含三个卷积层，两个池化层，以及两个全连接层。self.fc1 = nn.Linear(64 * 8 * 8, 64) # 考虑到池化层后的尺寸return x。
强推！创新直发核心！时序分解+优化组合+模型对比！VMD-SSA-Transformer-BiLSTM多变量时间序列预测
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
09-04 898
强推！创新直发核心！时序分解+优化组合+模型对比！VMD-SSA-Transformer-BiLSTM多变量时间序列预测
word2vec预模型增量数据训练
06-10
接下来，可以使用`train()`方法对新的数据进行训练，以更新模型参数。 具体的操作流程如下： 1. 加载已经训练好的模型 ```python from gensim.models import Word2Vec model = Word2Vec.load('path/to/...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

hj_caas

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值