LLM：Training Compute-Optimal Large Language Models（下）

已于 2024-08-22 11:46:05 修改
阅读量1.1k 收藏 18
点赞数 22
分类专栏： LLM & AIGC 文章标签： 语言模型 人工智能 LLM
于 2024-01-16 16:45:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lilai619/article/details/135624041
版权
DeepMind的研究挑战了OpenAI关于大语言模型训练的观点，提出模型尺寸和训练Token数量应同比例增长以达到最优计算效率。DeepMind发现，与OpenAI建议的不同，同等规模的计算资源应分配给模型大小和训练数据的同步增长，而不是更侧重于模型大小。通过对不同规模模型的训练，他们得出模型和数据同等重要的结论，这与OpenAI的0.73:0.27比例不同，而是倾向于0.5:0.5的平衡。
摘要由CSDN通过智能技术生成

论文：https://arxiv.org/pdf/2203.15556.pdf

发表：2022

前文回顾：

OpenAI在2020年提出《Scaling Laws for Neural Language Models》：Scaling Laws(缩放法则）也一直影响了后续大模型的训练。其给出的结论是最佳计算效率训练涉及在相对适中的数据量上训练非常大的模型并在收敛之前early stopping。所以后续的工作都专注于提升参数规模，设计越来越大的模型，而不是在更多的数据上训练较小的模型。每个人都认为模型大小比数据大小重要的多得多！但DeepMind在2022年提出了不同的看法。

摘要

了解本专栏 订阅专栏 解锁全文 超级会员免费看
微风❤水墨
关注
  • 22
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
LLM 大模型实用指南 | The Practical Guides for Large Language Models
禅与计算机程序设计艺术
05-31 1万+
LLM 大模型实用指南 | The Practical Guides for Large Language Models。
LLMs之Gopher/Chinchilla：《Training Compute-Optimal Large Language Models》的翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-18 4247
​ LLMs之Chinchilla：《Training Compute-Optimal Large Language Models》的翻译与解读 目录 《Training Compute-Optimal Large Language Models》的翻译与解读 Abstract摘要 1、Introduction引言 2、Related Work相关工作 3、Estimating the optimal parameter/training tokens allocation估
AI之MLM：《MM-LLMs: Recent Advances in MultiModal Large Language Models多模态大语言模型的最新进展》翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
01-27 3315
​ AI之MLM：《MM-LLMs: Recent Advances in MultiModal Large Language Models多模态大语言模型的最新进展》翻译与解读 目录 《MM-LLMs: Recent Advances in MultiModal Large Language Models》翻译与解读 Abstract摘要 1、Lntroduction引言 2、Model Architecture模型架构，五个组件 3、Tra
【自然语言处理】【大模型】Chinchilla：训练计算利用率最优的大语言模型
bqw的博客
03-19 4668
​ 近期出现了一些列的大语言模型(Large Language Models, LLM)，最大的稠密语言模型已经超过了500B的参数。这些大的自回归transformers已经在各个任务上展现出显著效果。​ 训练LLM的计算和能源消耗是巨大的，并且随着模型尺寸的增加而增加。实际中，分配的计算预算是提前知道的：有多少机器可用以及我们想使用它们多久。通常训练LLM只会训练一次，在给定计算预算的情况下准确估计最优模型的超参数是至关重要的。​展示了自回归语言模型的参数数量和其表现有着幂律关联。
LLMs：《Better & Faster Large Language Models via Multi-token Prediction》翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
05-05 1467
token学习一个参数化的Embedding，表示为矩阵P*e，其中Pe∈Rp×e，p是Prompt的长度，e是Embedding的维度。token学习一个参数化的Embedding，表示为矩阵P*e，其中Pe∈Rp×e，p是Prompt的长度，e是Embedding的维度。token学习一个参数化的Embedding，表示为矩阵P*e，其中Pe∈Rp×e，p是Prompt的长度，e是Embedding的维度。将输入文本的Embedding矩。将输入文本的Embedding矩。
LLM 和生成式 AI 简介：LLM 架构、提示词工程和 LLM 配置 & 大型语言模型中的思维链（CoT）：介绍和应用
禅与计算机程序设计艺术
10-31 423
Attention is All You Need 是 Google 研究人员于 2017 年发表的一篇研究论文，其中介绍了 Transformer 模型，这是一种新颖的架构，彻底改变了自然语言处理 (NLP) 领域，并成为我们现在所知的AI大模型的基础 - 例如如 GPT、PaLM 等。作者证明，他们的模型在多项机器翻译任务上实现了最先进的性能，并且优于之前依赖 RNN 或 CNN 的模型。总的来说，及时的工程设计和理解不同模型的特征对于最大限度地提高语言模型在各种任务中的有效性起着至关重要的作用。
Re-ranking 从原理到实现的两种主流方法
安静的软件工程师
02-24 5014
Re-ranking 从原理到实现的两种主流方法
【大模型】大语言模型简介
热门推荐
禅与计算机程序设计艺术
04-03 2万+
因此，模型规模增长是必然趋势，当推进大模型规模不断增长的时候，涌现能力的出现会让任务的效果更加出色。有趣的是，当参数规模超过一定水平时，这些扩大的语言模型不仅实现了显着的性能提升，而且还表现出一些小规模语言模型所不具备的特殊能力。如 Google 发布的多模态具身视觉语言模型 PaLM-E，由540B 的 PaLM 文本模型和 22B 的 VIT 图像模型构成，两者集成处理多模态信息，所以它的总模型规模是 566B。随着模型规模的不断增长，任务效果也持续增长，说明这类任务对大模型中知识蕴涵的数量要求较高。
python 实现convolution neural network卷积神经网络算法
luthane的博客
08-26 7379
卷积神经网络（Convolutional Neural Networks, CNN）是一种包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks, FNN），是深度学习的代表算法之一。基本原理CNN的核心思想是通过模拟人类视觉系统的工作方式，自动提取图像中的特征，并将其用于分类、检测、分割等任务。它主要受到了生物学上感知机制的启发，模拟了人类视觉系统中的感知细胞和复杂细胞的工作方式。
【小迪安全笔记V2022】信息打6~8
2202_75354817的博客
08-25 3202
小迪安全学习笔记
透明性和解释性AI：概念与应用
weixin_49007164的博客
08-25 2634
透明性AI指的是AI系统的操作过程、决策机制、数据流动和模型行为是可理解和可追踪的。换句话说，透明性AI使得人们可以清楚地看到AI系统是如何做出决策的，这一过程包括输入数据的处理方式、模型的内部计算过程、以及最终决策的产生机制。解释性AI是指AI系统不仅能够给出决策结果，还能够提供关于该决策如何产生的解释。解释性AI的目标是帮助用户理解AI的行为，尤其是当AI的决策与预期不符时，提供合理的解释来消除用户的疑虑。
关于人工智能（AI）的研究报告
最新发布
weixin_44196785的博客
08-29 451
未来，随着技术的不断创新和应用的不断拓展，人工智能将继续发挥重要作用，推动社会的进步和发展。然而，人工智能的发展也带来了一些挑战，需要我们在技术创新、应用拓展和社会治理等方面共同努力，以确保人工智能的发展符合人类的利益和价值观。就业结构的变化：人工智能的发展将导致就业结构的变化，一些传统的工作岗位将被自动化和智能化的设备所取代，同时也会创造出一些新的工作岗位。社会治理的挑战：人工智能的发展将对社会治理带来挑战，例如如何应对人工智能带来的安全风险、如何保障人工智能的公平性和可及性等。
【python计算机视觉编程——1.基本的图像操作和处理】
m0_53694086的博客
08-26 6973
参数sigma为标准差（σ），是高斯滤波器的一个重要参数，它控制滤波器的平滑程度。标准差越大，高斯函数的曲线越宽，滤波器的影响范围就越大。标准差较大: 高斯滤波器会在更大范围内进行平滑，使得图像变得更加模糊，细节和边缘特征会被更强地平滑掉。标准差较小: 高斯滤波器会产生较小范围的平滑效果，图像的细节保留更多。还可以给定转换矩阵，将RGB图像转换为CIE XYZ色彩空间。图像像素值被分成128个区间，用于计算每个区间的像素值频率。可以返回目录中所有jpg图像的列表。
【自由能系列（初级）】【开篇论文】自由能原理在多个领域的统一视角
神经美学_茂森的博客
08-27 1495
自由能原理作为一个统一的理论框架，成功地将多个看似不相关的领域（如神经科学、物理学、经济学、信息论、控制论、认知科学和生物学进化）联系在一起。通过自由能原理，我们可以更深刻地理解不同系统如何在给定条件下实现最优行为或状态。#自由能原理 #跨领域统一框架 #优化逻辑 #参数调节 #贝叶斯大脑 #预测编码 #最优控制 #注意力机制 #自然选择 #机器学习。：自由能原理、跨领域统一框架、优化逻辑、参数调节、贝叶斯大脑、预测编码、最优控制、注意力机制、自然选择、机器学习。
未戴安全帽算法检测源码样本安防监控视频分析未戴安全帽检测算法应用场景
LntonCEC的博客
08-29 119
通过高效的图像处理和实时反馈机制，这些算法不仅提高了安全帽佩戴的检测准确性，还实现了对工地的全覆盖监控。未来，随着技术的不断进步和优化，这些系统将在更多的工地和工业场景中得到广泛应用，为工人的安全保驾护航。同时，系统会记录所有的检测数据，为后续的安全管理和分析提供了宝贵的参考资料。未戴安全帽检测算法是一种基于计算机视觉和深度学习技术的智能分析算法，旨在通过分析图像或视频流，自动识别人员是否佩戴了安全帽，并在检测到未佩戴情况时采取相应的措施（如发出警报或记录事件）。1. 提高检测准确性。
论大模型在金融行业的应用场景
m0_53773302的博客
08-25 1577
需要指出的是，虽然上面这些场景都是大家能够最先想到的，但真正要做的很好，也不是那么容易，必须结合优质的技术架构与工具设计，模型优化，数据准备与处理，以及反复的尝试与试错，同时也不可避免的需要对所在行业与场景知识的专业性通过实操深入理解。但如果想到达到90%以上的准确率，那就必须结合专业细致的行业数据、话术抽象、切分，上下文学习/RAG使用，知识图谱的构造，人类反馈的常态化，模型的选择，模型微调中参数调优、数据质量与混合比例的调优、减少遗忘的策略设计，甚至模型结构的创新改造设计等手段综合起来，才可以达到。
BERT:Pre-training of Deep Bidirectional Transformers forLanguage Understanding
靓仔沾点健忘症，写给时间下游的自己
08-26 661
语言模型预训练已被证明对改善许多自然语言处理任务是有效的(Dai and Le, 2015;其中包括句子级任务，如自然语言推理(Bowman et al.， 2015;Williams等人，2018)和释义(Dolan和Brockett, 2005)，其目的是通过整体分析来预测句子之间的关系，以及分词级任务，如命名实体识别和问答，其中需要模型在分词级别产生细粒度输出(Tjong Kim Sang和De Meulder, 2003;将预训练的语言表示应用于下游任务有两种现有策略:基于特征和微调。
MobileStyleGAN:一种用于高保真图像合成的轻量级卷积神经网络
qq_50465499的博客
08-28 929
MobileStyleGAN:一种用于高保真图像合成的轻量级卷积神经网络
探索通用智能：早期GPT-4实验揭示惊人能力
本文主要探讨了人工智能（AI）领域的最新进展，特别是OpenAI开发的大规模语言模型（LLM）——GPT-4。GPT-4是AI研究中的一个重要里程碑，它在处理多种领域和任务时展现出令人惊叹的能力，对我们的学习和认知理解提出...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

微风❤水墨

你的鼓励是我最大的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值