从注意力机制到RLHF，大模型技术入门必读清单

已于 2024-04-29 14:47:01 修改
阅读量968 收藏 28
点赞数 21
文章标签： 人工智能 深度学习
于 2024-04-29 14:30:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_56647251/article/details/138312190
版权

欢迎大家在 GitHub 上 Star 我们：

分布式全链路因果学习系统 OpenASCE: https://github.com/Open-All-Scale-Causal-Engine/OpenASCE

大模型驱动的知识图谱 OpenSPG: https://github.com/OpenSPG/openspg

大规模图学习系统 OpenAGL: https://github.com/TuGraph-family/TuGraph-AntGraphLearning

不到5年的时间里，大模型和Transformers技术几乎彻底改变了自然语言处理领域，并开始革新计算机视觉和计算生物学等领域。Sebastian Raschka博士聚焦学术研究论文，为机器学习的研究人员和实践者准备了一份入门的阅读清单，按顺序啃完，你也能真正入门当下的大模型技术领域。

当然，Sebastian Raschka博士也提到还有许多其他有用的资源，例如：

  • Jay Alammar的《Illustrated Transformer》；
  • Lilian Weng的更技术性的博客文章；
  • Xavier Amatriain整理的所有关于Transformer的目录和族谱；
  • Andrej Karpathy为了教育目的而编写的生成语言模型的最小代码实现；
  • 以及本文作者的讲座系列和书籍章节。

了解主要架构和任务

如果你是Transformers/大模型的新手，那么从头开始是最有意义的。

1. Neural Machine Translation by Joint Learning to Align and Translate (2014)

作者：Bahdanau、Cho和Bengio

论文链接：https://arxiv.org/abs/1409.0473

如果你有几分钟空闲，我建议从这篇论文开始学习。该论文为循环神经网络（RNN）引入了一种注意力机制，以增强对长序列的建模能力。这让RNN能更准确地翻译较长的句子——这也是后来开发原始Transformer架构的动机所在。

2. Attention Is All You Need (2017)

作者：Vaswani、Shazeer、Parmar、Uszkoreit、Jones、Gomez、Kaiser 和 Polosukhin

论文链接：https://arxiv.org/abs/1706.03762

这篇论文介绍了原始的Transformer架构，该架构包含编码器和解码器两部分，这两个部分之后将成为独立的模块进行说明。此外，这篇论文还引入了例如缩放点积注意力机制、多头注意力块以及位置输入编码等概念，这些仍然是现代Transformer模型的基础。

3. On Layer Normalization in the Transformer Architecture (2020)

作者：Yang, He, K Zheng, S Zheng, Xing, Zhang, Lan, Wang, Liu

论文链接：https://arxiv.org/abs/2002.04745

虽然上图所示的原始Transformer结构是对最初编码器-解码器架构的非常好的概括，但图中 LayerNorm 的位置一直备受争议。例如，“Attention Is All You Need”中的Transformer结构图将LayerNorm放置在残差块之间，这与原始Transformer论文配套的官方（更新后）代码实现不符。《Attention Is All You Need》图中展示的变体被称Post-LN Transformer，而更新后的代码实现默认采用Pre-LN变体。

在《Layer Normalization in the Transformer Architecture》一文中指出，Pre-LN工作得更好，能解决梯度问题。如下所示，许多架构在实践中采纳了这一做法，但它可能导致表示坍塌。因此，尽管关于使用Post-LN还是Pre-LN的讨论仍在继续，但有一篇新论文《ResiDual: Transformer with Dual Residual Connections》（https://arxiv.org/abs/2304.14802）提出要同时利用两者的优势；它在实践中的有效性仍有待观察。

4. Learning to Control Fast-Weight Memories: An Alternative to Dynamic Recurrent Neural Networks (1991)

作者：Schmidhuber

论文链接：

https://www.semanticscholar.org/paper/Learning-to-Control-Fast-Weight-Memories%3A-An-to-Schmidhuber/bc22e87a26d020215afe91c751e5bdaddd8e4922

本论文推荐给对历史趣闻及与现代Transformer架构类似的早期技术感兴趣的读者。例如，大约在原版Transformer论文《Attention Is All You Need》之前的25年，即1991年，Juergen Schmidhuber提出了一种作为循环神经网络替代方案的快速权重编程器（FWP）。FWP方法涉及一个前馈神经网络，该网络通过梯度下降缓慢学习，以编程另一个神经网络的快速权重变化。与现代Transformer的类比在以下博客文章中这样解释：

在当今的Transformer术语中，FROM和TO分别被称为键和值。快速网络所应用的INPUT则称为查询。实质上，查询经过快速权重矩阵处理，该矩阵是键和值的外积之和（忽略规范化和投影）。由于两个网络的所有操作都是可微分的，我们通过外积或二阶张量积的加性获得了快速权重变化的端到端可微分主动控制。因此，慢速网络可以通过梯度下降学习，在序列处理过程中快速修改快速网络。这在数学上等同于（除了规范化之外）后来所谓的线性自注意力Transformer（或线性 Transformer）。

正如上述博客文章摘录中提到的，这种方法现在通过2020年出现在 arXiv 上的论文《Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention》和《Rethinking Attention with Performers》被称作“线性 Transformer ”或“具有线性化自注意力的 Transformer”。随后，在2021年的论文《Linear Transformers Are Secretly Fast Weight Programmers》中明确展示了线性化自注意力与90年代快速权重编程器之间的等价性。

5. Universal Language Model Fine-tuning for Text Classification (2018)

作者；Howard, Ruder

论文地址：https://arxiv.org/abs/1801.06146

这是一篇从历史角度看非常有趣的文章。它写作于《Attention Is All You Need》发布一年后，但并未涉及Transformer，而是聚焦于循环神经网络。然而，它仍然值得关注，因为它有效地提出了预训练语言模型和针对下游任务的迁移学习。虽然迁移学习在计算机视觉领域已经很成熟，但在自然语言处理（NLP）中还未普及。ULMFit是最早展示预训练语言模型并对其进行微调以适应特定任务，从而在许多NLP任务中取得最先进成果的论文之一。

ULMFit 提出的微调语言模型的三阶段过程如下：

  • 在大量文本语料库上训练一个语言模型；
  • 在特定任务的数据上对这个预训练的语言模型进行微调，使它能适应特定文本的风格和词汇；
  • 通过逐步解冻层来避免灾难性遗忘，同时在特定任务的数据上微调分类器。

这一方法——先在大型语料上训练语言模型，再将其微调至下游任务——是基于 Transformer 的模型和基础模型（如BERT、GPT-2/3/4、RoBERTa等）的核心手段。然而，ULMFit 中的关键部分——逐步解冻，在实际操作变换器架构时通常并不常规执行，通常所有层会一次性进行微调。

6. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (2018)

作者：Devlin, Chang, Lee, Toutanova

论文链接：https://arxiv.org/abs/1810.04805

按照原始的Transformer架构，大型语言模型的研究开始向两个方向分化：用于预测性建模任务（如文本分类）的编码器式Transformer，以及用于生成性建模任务（如翻译、摘要及其它文本创造形式）的解码器式Transformer。

上述BERT论文引入了掩码语言建模和下一个句子预测的原始概念，它仍然是最具影响力的编码器式架构。如果你对这一研究分支感兴趣，我推荐你继续了解RoBERTa，它通过移除下一个句子预测任务简化了预训练目标。

7. Improving Language Understanding by Generative Pre-Training(2018)作者：Radford and Narasimhan论文地址：

https://www.semanticscholar.org/paper/Improving-Language-Understanding-by-Generative-Radford-Narasimhan/cd18800a0fe0b668a1cc19f2ec95b5003d0a5035

原始的GPT论文介绍了流行的解码器式架构及通过下一个词预测进行预训练的方法。鉴于BERT因其掩码语言模型的预训练目标可被视为双向变换器，GPT则是一个单向、自回归模型。虽然GPT嵌入也可用于分类，但GPT方法是当今最具影响力的大型语言模型（LLMs）的核心，比如ChatGPT。

如果你对这一研究方向感兴趣，我建议你继续深入了解GPT-2和GPT-3的相关论文。这两篇论文展示了LLMs能够实现零样本和少量样本学习，并突出了 LLMs 的涌现能力。GPT-3 至今仍是训练当前LLM的最常用的基准线和基本模型，稍后会在单独的条目中介绍催生了 ChatGPT的InstructGPT 技术。

GPT2相关论文：https://www.semanticscholar.org/paper/Language-Models-are-Unsupervised-Multitask-Learners-Radford-Wu/9405cc0d6169988371b2755e573cc28650d14dfe

GPT3 相关论文：https://arxiv.org/abs/2005.14165

8. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension(2019)

作者：Lewis, Liu, Goyal, Ghazvininejad, Mohamed, Levy, Stoyanov, Zettlemoyer

论文链接：https://arxiv.org/abs/1910.13461.

如前所述，BERT类型的编码器式大型语言模型（LLMs）通常更适用于预测建模任务，而GPT类型的解码器式 LLMs 则更擅长生成文本。为了集两者之所长，上述BART论文结合了编码器和解码器两部分（与第二篇论文介绍的原始Transformer结构不乏相似之处）。

9. Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond(2023)

作者：Yang, Jin, Tang, Han, Feng, Jiang, Yin, Hu,

论文链接：https://arxiv.org/abs/2304.13712

这不是一篇研究论文，但可能是迄今为止最好的架构综述文章，它生动地展示了不同架构是如何演变的。然而，除了讨论BERT风格的掩码语言模型（编码器）和GPT风格的自回归语言模型（解码器）之外，它还就预训练和微调数据提供了有益的讨论与指导。

Scaling Laws & Improving Efficiency

如果你想深入了解改进Transformer效率的各种技术，我推荐先阅读2020年的《Efficient Transformers: A Survey》论文，以及2023年的《A Survey on Efficient Training of Transformers》2篇论文。另外，以下是我发现特别有趣且值得一读的几篇论文。

  • 《Efficient Transformers: A Survey》：

https://arxiv.org/abs/2009.06732

  • 《A Survey on Efficient Training of Transformers》：

https://arxiv.org/abs/2302.01107

10. FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness(2022)

作者：Dao, Fu, Ermon, Rudra, Ré

论文链接：https://arxiv.org/abs/2205.14135.

尽管大多数Transformer论文并不费心替换原有的规模化点积机制以实现自注意力，但最近我最常看到被引用的一种机制是FlashAttention。

11. Cramming: Training a Language Model on a Single GPU in One Day (2022)

作者：Geiping 和Goldstein,

论文链接：https://arxiv.org/abs/2212.14034

本文中，研究人员使用单一GPU对一个掩码语言模型/编码器风格的大型语言模型（此处为BERT）进行了24小时的训练。作为对比，2018年原始BERT论文中是在16个TPU上训练了四天。一个有趣的发现是，尽管较小的模型具有更高的吞吐量，但它们的学习效率也较低。因此，较大模型在达到特定预测性能阈值时，并不需要更长的训练时间。

12. LoRA: Low-Rank Adaptation of Large Language Models (2021)

作者：by Hu, Shen, Wallis, Allen-Zhu, Li, L Wang, S Wang, Chen

论文链接：https://arxiv.org/abs/2106.09685.

现代大型语言模型通过在大规模数据集上的预训练，展现出涌现能力，并在多种任务上表现优异，包括语言翻译、摘要生成、编程及问答等。然而，若要提升变压器在特定领域数据和专业任务上的能力，对其进行微调是很有价值的。低秩适配（LoRA）是参数高效微调大型语言模型的最具影响力方法之一。

尽管存在其他参数高效微调的方法，LoRA尤其值得关注，因为它既优雅又非常通用，也可应用于其他类型的模型。预训练模型的权重在其预训练任务上具有全秩，而LoRA的作者指出，当大型语言模型适应新任务时，其具有较低的“内在维度”。因此，LoRA的核心思想是将权重变化ΔW分解为更低秩的表示形式，以此实现更高的参数效率。

13. Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning (2022)

作者：Lialin、Deshpande、Rumshisky

论文链接：https://arxiv.org/abs/2303.15647.

这篇综述回顾了超过40篇关于参数高效微调方法的论文（涵盖了诸如前缀调整、适配器及低秩适配等流行技术），旨在使微调过程变得（极为）计算高效。

14. Scaling Language Models: Methods, Analysis & Insights from Training Gopher(2022)作者：Rae和他的78位同事

论文链接：https://arxiv.org/abs/2112.11446

Gopher是一篇特别出色的论文，包含了大量分析内容，用以理解大型语言模型（LLM）的训练过程。研究者在此训练了一个拥有280B参数、80层的模型，该模型基于300B个token进行训练。其中包含了一些有趣的架构改良，比如使用RMSNorm（均方根规范化）替代LayerNorm（层规范化）。LayerNorm与RMSNorm都较BatchNorm更受青睐，因为它们不依赖于批次大小，且无需同步，在分布式设置中使用较小批次时尤为有利。然而，普遍认为RMSNorm能更有效地稳定深层架构的训练过程。

除上述这些有趣的细节外，该论文的主要焦点在于分析不同规模下的任务表现。针对152项多样化的任务评估显示，模型尺寸的增大对理解能力、事实核查以及识别有害语言等任务的提升效果最为显著。然而，与逻辑和数学推理相关的任务从架构扩展中获益较少。

15. Training Compute-Optimal Large Language Models(2022)

作者：Hoffmann, Borgeaud, Mensch, Buchatskaya, Cai, Rutherford, de Las Casas, Hendricks, Welbl, Clark, Hennigan, Noland, Millican, van den Driessche, Damoc, Guy, Osindero, Simonyan, Elsen, Rae, Vinyals, 和 Sifre

论文链接：https://arxiv.org/abs/2203.15556.

本文介绍了一款名为Chinchilla的70B参数模型，该模型在生成建模任务上超越了广受欢迎的175B参数的GPT-3模型。然而，其核心观点在于指出当前大型语言模型“显著缺乏训练”。论文定义了大型语言模型训练的线性缩放定律。例如，尽管Chinchilla的规模仅为GPT-3的一半，但它之所以能超越 GPT-3，是因为它接受了1.4万亿（而非仅3000亿）个token的训练。换言之，训练token的数量与模型大小同样至关重要。

16.Pythia:A Suite for Analyzing Large Language Models Across Training and Scaling(2023)

作者：Biderman, Schoelkopf, Anthony, Bradley, O'Brien, Hallahan, Khan, Purohit, Prashanth, Raff, Skowron, Sutawika, 和van der Wal

论文链接：https://arxiv.org/abs/2304.01373

Pythia是一系列开源的大型语言模型（从700M到12B参数不等），旨在研究大型语言模型在训练过程中的演变情况。其架构类似于GPT-3，但包含了一些改进，比如Flash Attention（类似 LLaMA）和Rotary Positional Embeddings（类似 PaLM）。Pythia是在The Pile数据集（825Gb）上进行训练的，训练使用了300B个token（约等于常规PILE上的1次epoch，或去重PILE上的1.5次epoch）。

Pythia 研究的主要发现如下：

  • 在重复数据上进行训练（由于大型语言模型的训练方式，这意味着训练超过一个epoch）对性能既无益也无害；
  • 训练顺序不影响记忆效果。这很不幸，因为如果情况相反，我们可以通过重新排序训练数据来缓解不希望的逐字记忆问题；
  • 预训练时的词频会影响任务表现。例如，对于出现频率较高的词汇，少量样本的准确率往往更高；
  • 批量大小加倍可使训练时间减半，且不影响收敛。

对齐：引导大型语言模型达到预期目标和兴趣

近年来，我们已经见证了众多相对强大、能生成逼真文本的大型语言模型（如GPT-3和Chinchilla等）。似乎在常用的预训练范式下，我们已达到了所能达成成就的天花板。

为了使语言模型更加有用，并减少错误信息和有害语言的产生，研究人员设计了额外的训练范式，以微调预训练的基础模型。

17. Training Language Models to Follow Instructions with Human Feedback (2022)

作者：Ouyang, Wu, Jiang, Almeida, Wainwright, Mishkin, Zhang, Agarwal, Slama, Ray, Schulman, Hilton, Kelton, Miller, Simens, Askell, Welinder, Christiano, Leike, 和Lowe,

论文链接：https://arxiv.org/abs/2203.02155.

在这篇所谓的InstructGPT论文中，研究人员采用了一种结合人类反馈的强化学习机制（RLHF）。他们首先使用预训练的GPT-3基础模型，并通过监督学习对人类生成的提示-响应对进行进一步微调（步骤 1）。接着，他们让人类对模型输出进行排序，以训练一个奖励模型（步骤2）。最后，他们利用该奖励模型，通过近端策略优化的强化学习方法来更新预训练及微调后的 GPT-3 模型（步骤3）。

顺带一提，这篇论文也被认为是阐述了ChatGPT背后理念的论文——根据最近的传言，ChatGPT是InstructGPT的一个规模化版本，它经过更大数据集的微调。

18. Constitutional AI: Harmlessness from AI Feedback(2022)

论文作者：Yuntao, Saurav, Sandipan, Amanda, Jackson, Jones, Chen, Anna, Mirhoseini, McKinnon, Chen, Olsson, Olah, Hernandez, Drain, Ganguli, Li, Tran-Johnson, Perez, Kerr, Mueller, Ladish, Landau, Ndousse, Lukosuite, Lovitt, Sellitto, Elhage, Schiefer, Mercado, DasSarma, Lasenby, Larson, Ringer, Johnston, Kravec, El Showk, Fort, Lanham, Telleen-Lawton, Conerly, Henighan, Hume, Bowman, Hatfield-Dodds, Mann, Amodei, Joseph, McCandlish, Brown, Kaplan

论文链接：https://arxiv.org/abs/2212.08073.

本文中，研究人员更进一步地发展了“对齐”思想，提出了一种创造“无害”AI系统的训练机制。与直接的人类监督不同，研究人员提出了一种基于规则列表（这些规则由人类提供）的自我训练机制。类似于上文提到InstructGPT论文，所提议的方法采用了强化学习的方法。

19. Self-Instruct: Aligning Language Model with Self Generated Instruction(2022)

论文作者：Wang, Kordi, Mishra, Liu, Smith, Khashabi, 和 Hajishirzi

论文链接：https://arxiv.org/abs/2212.10560

指令微调是我们如何从类似GPT-3的预训练基础模型过渡到更强大LLMs（如ChatGPT）的方式。而像databricks-dolly-15k这样的开源、人为生成的指令数据集能助力这一过程成为可能。但如何实现规模化呢？一种方法是让LLM 基于自身的生成内容进行自举学习。

自我指令（Self-Instruct）是一种（几乎无需标注）将预训练LLMs与指令对齐的方法。这个过程是如何运作的呢？简而言之，它包括四个步骤：

  • 用一组人类编写的指令（本例中为175条）初始化任务池，并从中抽样指令；
  • 利用一个预训练LLM（如GPT-3）来确定任务类别；
  • 针对新指令，让预训练LLM生成响应；
  • 收集、筛选并过滤这些响应，之后再将它们加入到任务池中。

通过这种方式，自我指令方法能够在减少人工标注的情况下，有效提升预训练语言模型遵循和生成指令的能力，从而实现模型能力的扩展和优化。

在实践中，这种方法根据ROUGE分数表现得相对较好。例如，经过自我指导微调的大型语言模型（LLM）超越了GPT-3基础模型，并且能够与预先在大量人工编写指令集上训练的LLM竞争。而且，自我指导也能惠及那些已经经过人类指令微调的LLM。

当然，评估LLM的黄金标准是邀请人工评价者参与。根据人工评估，自我指导方法超越了基础LLM，以及通过监督方式在人工指令数据集上训练的LLM（如 SuperNI、T0 Trainer）。但有趣的是，自我指导并未超过那些通过结合人类反馈的强化学习方法训练的模型（RLHF）。

人力生成的指令数据集与自我指导产生的数据集，哪一个更有前景？我看好两者。为什么不从一个人力生成的指令数据集开始，比如databricks-dolly-15k中的1.5万个指令，然后再通过自我指导的方式进行扩展呢？

强化学习与人类反馈（RLHF） 关于强化学习与人类反馈（RLHF）的更多解释，以及实现RLHF的近端策略优化相关论文，请参阅我下方更详细的文章：

在讨论大型语言模型（LLMs）时，不论是研究动态还是教程，我常提及一种称为“强化学习与人类反馈”（RLHF）的过程。RLHF已成为现代LLM训练流程的重要组成部分，因为它能将人类偏好融入优化框架中，从而提升模型的有用性和安全性。

阅读完整文章 ：

https://magazine.sebastianraschka.com/p/llm-training-rlhf-and-its-alternatives

结论与深入阅读

我力求使上方列表简洁明了，聚焦于理解当代大型语言模型设计、限制及演变的十大论文（外加三篇关于RLHF的论文）。为进一步学习，建议参考上述论文中的引用文献。以下是一些补充资源：

GPT的开源替代品：

ChatGPT alternatives:

生物计算学中的大模型:

文章推荐

年薪可达百万！想进入AI行业却不懂编程？一文解锁零编程基础也能驾驭的9大AI岗位

平均月薪超4.6万！AI领域重磅课程汇总，哈佛，斯坦福，微软，谷歌等出品！

7个prompt小技巧，让你和AI的对话更有效

人人都是开发者的时代，学编程还有用吗？

如有侵权，请联系删除。参考链接：

https://magazine.sebastianraschka.com/p/understanding-large-language-models

关注我们


OpenSPG:
官网：https://spg.openkg.cn
Github：https://github.com/OpenSPG/openspg
OpenASCE:
官网：https://openasce.openfinai.org/
GitHub：[https://github.com/Open-All-Scale-Causal-Engine/OpenASCE]

  “可信 AI 进展 “ 公众号致力于最新可信人工智能技术的传播和开源技术的培育，覆盖大规模图学习，因果推理，知识图谱，大模型等技术领域，欢迎扫码关注，解锁更多 AI 资讯～

可信AI进展
关注
  • 21
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
多模态大模型：关于RLHF那些事儿
pku_langzi的博客
12-24 696
RLHF在多模态大模型方面的应用
【LangChain编程：从入门到实践】定制大模型接口
禅与计算机程序设计艺术
06-16 744
【LangChain编程：从入门到实践】定制大模型接口 1. 背景介绍 1.1 人工智能的崛起 近年来,人工智能(AI)技术的发展日新月异,大型语言模型的出现为各行各业带来了巨大的变革。这些模型能够理解和生成人类语言,
ChatGPT技术原理解析：从RL之PPO算法、RLHF到GPT4、instructGPT
热门推荐
结构之法 算法之道
01-15 18万+
本篇ChatGPT笔记会全力做到，通俗易懂且循序渐进(尽最大努力让每一个初学者哪怕是文科生都能没有障碍的读懂每一字一句、每一个概念、每一个公式) 一方面，对于想了解ChatGPT背后原理和如何发展而来的，逐一阐述从GPT/GPT2/GPT3到强化学习、PPO算法，最后再到instructGPT、ChatGPT、SeqGAN 且本文之前，99%的文章都不会把PPO算法从头推到尾，本文会把PPO从零推到尾，按照“RL-策略梯度-重要性采样(重要性权重)-TRPO(增加信任区域和KL散度约束)-PPO”的顺序逐步
利用RLHF优化大模型：提升性能与应用能力
weixin_42010722的博客
07-25 939
随着数据科学和人工智能领域的不断发展，大型语言模型和RLHF作为强大的工具正逐渐成为各种领域的重要组成部分。通过预训练和微调，大型语言模型能够具备丰富的语言表达能力，而RLHF则能够根据人类反馈持续改进模型的性能，使其更加智能和适应不同任务。然而，我们也必须认识到RLHF仍然面临着一些挑战，如可扩展性、人类偏见、解释性等问题。解决这些问题需要跨学科的研究和合作，以确保RLHF的应用能够安全、可靠、高效地应对现实世界的挑战。
大模型入门（六）—— RLHF微调大模型
2401_85325397的博客
06-12 741
奖励模型是输入一个文本序列，模型给出符合人类偏好的奖励数值，这个奖励数值对于后面的强化学习训练非常重要。构建奖励模型的训练数据一般是同一个数据用不同的语言模型生成结果，然后人工打分。如果是训练自己领域的RLHF模型，也可以尝试用chatgpt打分，效果也不错。
多模态大模型是新一代人工智能技术范式
weixin_43178406的博客
05-02 3万+
 本文主要介绍了推开通用人工智能大门，多模态大模型是新一代人工智能技术范式，希望能对学习大模型的同学们有所帮助。 文章目录 1. 前言 2. 书籍推荐 2.1 内容简介 2.2 本书作者 2.3 本书目录 2.4 适合读者
【LLM】大模型之RLHF和替代方法（DPO、RAILF、ReST等）
发现问题，并解决问题，批判性思维
12-11 4855
SFT使用交叉熵损失函数，目标是调整参数使模型输出与标准答案一致，不能从整体把控output质量，RLHF（分为奖励模型训练、近端策略优化两个步骤）则是将output作为一个整体考虑，优化目标是使模型生成高质量回复。 启发1：像可以用6b、66b依次得到差一点、好一点的target构造排序数据集，进行DPO直接偏好学习或者其他RLHF替代方法（RAILF、ReST等），比直接RLHF更方便训练 启发2：为了减少幻觉（如拒绝回答），可以构造排序数据集（如good response为拒绝话术，bad respo
【LLM】RLHF机制（Reinforcement Learning from Human Feedback）
发现问题，并解决问题，批判性思维
07-11 1095
RLHF分为三个步骤 我做你看：有监督学习，从训练集中挑出一批prompt，人工对prompt写答案 你做我看：奖励模型训练，这次不人工写答案了，而是让GPT3给出几个候选答案，人工对其质量排序，Reward model学习一个打分器；这个让机器学习人类偏好的过程就是【对齐】，但可能会导致胡说八道，可以通过KL Divergence等方法解决。instructGPT中奖励模型的损失函数如下，其中 rθ(x,y) 是奖励模型对提示x和完成y的标量输出，具有参数θ，
大模型入门（七）—— RLHF中的PPO算法理解
2301_81888214的博客
05-10 719
本文主要是结合PPO在大模型中RLHF微调中的应用来理解PPO算法。
用于大模型 RLHF 进行人工数据标注排序的工具
03-14
用于大模型 RLHF 进行人工数据标注排序的工具。A tool for manual response data annotation sorting in RLHF stage..zip
2023AI大模型数据分析pdf
06-10
Al大模型需要什么样的数据集 数据将是未来AI 大模型竞争的关键要素 人工智能发展的突破得益于高质量数据的发展。例如，大型语言模型的最新进展依赖于更高质量、更丰富的训练数据集:与GPT-2相比，GPT-3对模型架构只...
微软DeepSpeed Chat震撼发布，一键RLHF训练千亿级大模型
04-12
刚刚，微软开源了一个可以在模型训练中加入完整RLHF流程的系统框架——DeepSpeed Chat。 也就是说，各种规模的高质量类ChatGPT模型，现在都唾手可得了！ 众所周知，由于OpenAI太不Open，开源社区为了让更多人能用上...
Wombat：93%ChatGPT性能！无需RLHF就能对齐人类的语言模型.pdf
08-13
Wombat：93%ChatGPT性能！无需RLHF就能对齐人类的语言模型.pdf
武汉星起航：挂牌上海股权中心，资本赋能共绘跨境电商繁荣新图景
m0_74145751的博客
06-22 307
同时，公司的品牌效应也将助力其在亚马逊市场上树立更加专业的形象，提升客户的信任度和忠诚度。这一里程碑式的举措不仅彰显了公司的雄厚实力，更为其在亚马逊市场的发展带来了诸多优势。武汉星起航的成功挂牌标志着其发展的新起点，凭借资本市场的强大支持，公司必将持续强化自身实力，扩大市场影响力，为客户提供卓越服务。展望未来，武汉星起航将继续引领行业创新，为亚马逊市场的繁荣贡献源源不断的动力，共同书写跨境电商的新辉煌篇章。这不仅为公司带来了更为充足的资金流，也为其在亚马逊市场的持续投入和快速发展提供了坚实的保障。
内积知识点小记
liujianjun1536500976的专栏
06-21 1170
对于两个向量a = [a₁, a₂,…, aₙ]和b = [b₁, b₂,…, bₙ]，它们的点积定义为：a·b = a₁b₁ + a₂b₂ + … + aₙbₙ。使用矩阵乘法，把（纵列）向量当作n×1 矩阵，点积也可以写为：a·b = (a^T) * b，这里的a^T指示矩阵a的转置。
Midjourney绘画提示词精选：提升AI艺术创作的秘诀
weixin_42132035的博客
06-22 1525
在AI艺术创作领域，MidJourney作为一款强大的绘画生成工具，受到了越来越多艺术家和设计师的青睐。通过提供简洁但富有创意的提示词，可以帮助MidJourney生成令人惊叹的艺术作品。在本文中，我们将分享一些精选的MidJourney绘画提示词，助你在AI艺术创作中取得更好的效果。
昇思25天学习打卡营第2天|张量学习
最新发布
main_h_的博客
06-26 163
张量是一种特殊的数据结构，主要是描述矩阵 行列式这类。张量（Tensor）是MindSpore网络运算中的基本数据结构，类似日常的多维数组，不过比基础的数组多了一些描述信息。
生命在于学习——Python人工智能原理（2.1.1）
易水哲的博客
06-19 2041
前言：人工智能基础结束了，本章开启Python的学习，之前我写过Python的学习了，不过是偏向网络安全方向的学习，这次算是完完全全的学习。
ChatGPT背后的大模型最新有哪些？最新最全《Transformer预训练模型分类》论文，pdf.pdf
05-21
论文还特别讨论了Transformer模型的核心组件如注意力机制，以及它们为何在众多领域受到广泛应用。此外，他还介绍了强化学习与人类反馈（RLHF）和扩散模型等概念，并列出了一个详细的Transformer模型目录，包括它们的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值