不止是数据，RedPajama的模型也出来了，RedPajama 7B, 一个开源的高效LLM模型

最新推荐文章于 2024-06-19 02:38:00 发布
最新推荐文章于 2024-06-19 02:38:00 发布
阅读量753 收藏
点赞数
文章标签： 开源 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hawkman/article/details/130641728
版权

资源/参考链接：

官网：TOGETHER

博客: https://www.together.xyz/blog/redpajama-models-v1

GitHub：Together

介绍

RedPajama和它背后的公司Together其实都挺有意思的。Together，由苹果前高管Vipul Ved Prakash，斯坦福大模型研究中心主任Percy Liang，苏黎世联邦理工大学助理教授张策等人联合创办。

RedPajama是“一个创建领先的开源模型的项目，从复制超过1.2万亿个Token的LLaMA训练数据集开始”。这是Together，Ontocord.ai，ETH DS3Lab，斯坦福CRFM，Hazy Research和MILA Québec AI Institute之间的合作。（前两天发布的MPT-7B也用到了RedPajama数据集，详见：北方的郎：MPT-7B：开源，商业可用，性能堪比LLaMA-7B的LLM新成员）

然后Together又在RePajama数据的基础上，开发RedPajama模型。在训练的过程中不断更新进展， 搞得像连续剧似的。

第一集（4月17日）：我们搞的数据集很棒的

RedPajama, a project to create leading open-source models, starts by reproducing LLaMA training dataset of over 1.2 trillion tokens — TOGETHER

第二集（4月24日）：我们开始训练模型啦，这是进展

https://www.together.xyz/blog/redpajama-training-progress

第三季（5月5日）：我们发布模型啦，棒棒的，而且7B的还在继续优化训练

https://www.together.xyz/blog/redpajama-models-v1

模型介绍：

作者说明：以下内容大部分翻译自Together发布RedPajama模型的文章（有调整），这里面的“我们”指的是Together公司。

RedPajama 项目旨在创建一套领先的开源模型，并严格了解产生良好性能的成分。几周前，我们发布了基于LLaMA论文的RedPajama基础数据集，这激发了开源社区的热情。5 TB的数据集已被下载数百次，用于训练MPT，OpenLLaMA，OpenAlpaca等模型。今天，我们很高兴发布RedPajama-INCITE模型，包括 instruct-tuned 和 chat 版本。

今天的版本包括我们在RedPajama基础数据集上训练的第一个模型：一个3亿和一个7B参数基础模型，旨在尽可能接近地复制LLaMA配方。此外，我们还发布了完全开源的指令调整和聊天模型。我们的主要收获：

  • 3B型号是同类产品中最强大的，小尺寸使其非常快速且易于使用（它甚至可以在2070年前发布的RTX 5上运行）。
  • 这些模型的指令调整版本在 HELM 基准测试中实现了强大的性能。正如预期的那样，在HELM上，7B模型的性能比基本LLaMA模型高出3个百分点。我们建议将这些模型用于具有少量样本、实体提取、分类或汇总任务的下游应用程序。
  • 7B模型（已完成80%的训练）已经优于Pythia 7B模型，这表明了更大数据集的重要性以及RedPajama基础数据集的价值。
  • 根据我们的观察，我们看到了创建更好版本的RedPajama数据集的明确途径，我们将在未来几周内发布该数据集，这将超越LLaMA 7B的质量。我们计划使用这个新数据集构建更大规模的模型。
  • 我们预计LLaMA 7B和我们的复制之间存在差异，我们将在下面进行研究。

最大的收获是证明了开源社区可以快速构建高性能LLM。这项工作建立在我们1.2万亿Token的RedPajama数据集，EleutherAI的Pythia训练代码，斯坦福大学的FlashAttention和Together，斯坦福CRFM的HELM基准以及MILA，EleutherAI和LAION的慷慨支持之上，用于INCITE计划内Summit超级计算机上的计算时间。 被授予"Scalable Foundation Models for Transferable Generalist AI”。我们相信，这种更大规模的开放式合作将成为未来最好的人工智能系统的幕后推手。

“RedPajama 3B 模型是同类产品中最强大的模型，为各种硬件带来了高性能的大型语言模型。“

今天的版本包括以下模型，所有模型都在宽松的Apache 2.0许可证下发布，允许在研究和商业应用中使用。

在短短几周内，开源社区对 RedPajama 的支持、建议和反馈令人难以置信。根据我们的学习，我们也已经开始了RedPajama基础数据集的下一个版本，其大小几乎是原始v1数据集的两倍。感谢您的支持、反馈和建议！

3B 模型已稳定在 800 亿个Token，7B 模型随着完成对 1 万亿个Token的训练而不断改进

在 RedPajama 模型训练期间，我们分享了定期更新，3B 和 7B 模型现在已经在 800 亿个Token上进行了训练。我们很高兴地看到 3B 模型已经稳定在 800 亿个Token，而 7B 模型随着完成训练到 1 万亿个Token而继续改进。


3B RedPajama Models


RedPajama-INCITE-Base-3B-v1 基于 RedPajama v1 数据集进行训练，其架构与流行的 Pythia 模型套件相同。我们选择从 Pythia 架构开始，以了解相对于当前领先的开源数据集 Pile，使用更大的 RedPajama 数据集进行训练的价值。Summit 上的培训利用了 EleutherAI 开发的 DeeperSpeed 代码库。


我们很高兴地看到，与类似大小的开放模型相比，包括备受推崇的 GPT-Neo 和 Pythia-2.8B（分别使用 420B 和 300B Token训练，使用 Pile），在 800B Token下，RedPajama-Base-INCITE-3B 具有更好的few-shot性能（以 HELM 衡量，作为 16 个核心场景的平均分数）和更好的zero-shot性能（在 Eleuther 的 LM 评估工具中测量）。在 HELM 上，它的性能比这些模型高出 3-5 分。在 lm-evaluation-harness 的任务子集上，性能比这些开放模型高出 2-7 分。


此外，我们很高兴发布此3B模型的指令调整版本RedPajama-INCITE-Instruct-3B-v1，该版本按照Together的GPT-JT配方进行训练，并删除HELM基准测试中的任何数据，以确保HELM没有污染。该模型在few-shot任务中表现出出色的性能，甚至在更小的模型中接近LLaMA 7B的质量，如下面的结果所示：


在 HELM 核心场景中的few-shot结果

ModelsTypeHELM (Average score over 16 core scenarios)
GPT-NeoBase model0.357
Pythia-2.8BBase model0.377
RedPajama-INCITE-Base-3B-v1Base model0.406
RedPajama-INCITE-Instruct-3B-v1Instruction-tuned0.453
Llama-7BBase model0.465

基本模型在zero-shot任务上也表现良好，使用EleutherAI的语言模型评估工具进行测量：

（Zero Shot）在lm-evaluation-harness的子集上的结果，遵循LLM工作表选择的任务和指标。

Lambada_openai
(acc)		Hellaswag
(acc_norm)		Winogrande
(acc)		Piqa(acc)average
GPT-Neo0.62230.55790.57690.72190.6197
Pythia-2.8B0.64660.59330.60060.73990.6451
Pythia-2.8B-dedup0.65240.59410.58480.74040.6429
RedPajama-INCITE-Base-3B-v10.65410.63170.63220.74700.6662

lm-evaluation-harness子集的结果，从用于评估Pythia和GPT-J的任务中选择。

RedPajama 3B 结果在 lm 评估线束的子集上

RedPajama-INCITE-Chat-3B-v1是一个开源聊天模型，由RedPajama-INCITE-Base-3B-v1构建，并由Open Assistant对OASST1数据集和DataBricks的Dolly v2.0数据集进行微调。我们平均混合数据集，并微调 3 个epochs。
评估聊天模型是一项具有挑战性的任务，我们正在根据人类和社区的反馈进行更多的定量评估，并很高兴很快分享这些结果！不过，这里有一些比较不同聊天模型行为的示例。我们看到，在许多例子中，RedPajama-INCITE-Chat-3B-v1与他们的论文中报告的Open Assistant(their paper)具有相似的质量。

RedPajama 7B 预览


7B模型仍在训练（800B Token），我们看到训练损失仍在持续减少。因此，我们将继续将其训练为 1T Token。尽管如此，这个checkpoint非常有用，并且很有趣，可以帮助社区更好地了解我们的培训过程。因此，我们发布了三个中间checkpoint作为最终模型的“预览”。

  • RedPajama-INCITE-Base-7B-v0.1 是一个经过 800B token训练的基本模型
  • RedPajama-INCITE-Chat-7B-v0.1 是通过 Dolly 2.0 和 Open Assistant 训练的聊天对应物
  • RedPajama-INCITE-Instruct-7B-v0.1 是针对few-shot应用程序调整的指令。我们遵循 GPT-JT 的配方，但删除了所有与 HELM 基准重叠的数据集。

这些检查点中的每一个都是在 Apache 2.0 许可证下发布的。即使在800B代币上，我们也已经看到了很有前景的结果。在HELM上，基本模型的性能优于GPT-J和Pythia-6.9B等开放模型0.5-2.2分，而在EleutherAI的lm-evaluation-harness上，它的性能平均比这些模型高出1-3分。
我们还看到，与LLaMA 7B相比，仍然存在质量差距 - 目前HELM为4.3分。对于few-shot应用程序（如HELM中的应用程序），指令调整模型（RedPajama-INCITE-Instruct-7B-v0.1）比基本模型显着改进。我们希望在我们进行更多迭代训练后，可以缩小其中的一些差距。


（few-shot）HELM 核心方案的结果

ModelTypeHELM (Average score over 16 core scenarios)
GPT-JBase model0.417
Pythia-6.9BBase model0.400
Llama-7BBase model0.465
RedPajama-INCITE-Base-7B-v0.1Base model0.422
RedPajama-INCITE-Instruct-7B-v0.1Instruction-tuned0.499

基本模型在zero-shot任务上也表现良好，使用EleutherAI的语言模型评估工具进行测量：

（Zero Shot）在lm-evaluation-harness的子集上的结果，遵循LLM工作表选择的任务和指标。We didn’t run coqa because of an error as in this issue. Llama numbers marked with * are taken directly from LLM Worksheet because we run into the following issue.

Lambada_openai
(acc)		Hellaswag
(acc_norm)		Winogrande
(acc)		Piqa (acc)average
GPT-J0.66990.66630.65030.75650.6857
Pythia-6.9B0.67120.63890.60690.75190.6672
Pythia-6.9B-dedup0.68930.65880.62660.75780.6831
Llama-7B0.7360*0.7620*0.70400.78100.7457
RedPajama-INCITE-Base-7B-v0.10.70610.69510.65190.76110.7035

LLM评估线束子集的结果，从用于评估Pythia和GPT-J的任务中选择。

LLM评估工具子集的结果

前进：RedPajama v2 with 2T Token


我们从社区学到了很多东西，并正在努力通过采用系统的方法构建具有 2 万亿个Token的 RedPajama v2：

  • 我们测量了不同模型在Pile不同切片上的验证损失（对于每个切片，我们选择了前5K通道）。我们看到 RedPajama 在 Pile 的许多切片上都落后了，尤其是那些没有直接包含在 RedPajama 数据集中的切片。受此启发，我们计划将 Pile 数据集混合到 RedPajama 中，并形成一个具有更多Token的更多样化的数据集。

  • 我们需要更多的Token！我们的另一个直接任务是混合来自堆栈的数据并丰富RedPajama的Github切片，其中仅包含59亿个Token。

通过所有这些改进，我们正在为2T token RedPajama v2数据集而努力。下周我们将开始进行一系列运行，以了解正确的数据组合，并开始在 RedPajama v2 上训练新模型。

Llama-7BGPT-JRedPajama-Base-INCITE-6.9B-v0.1
ArXiv1.7271.5111.990
BookCorpus21.9042.2262.213
Books31.6641.9791.909
DM Mathematics1.4111.1581.910
Enron Emails2.4941.8442.962
EuroParl1.9641.2162.066
FreeLaw1.4251.1211.889
Github1.1260.7561.273
Gutenberg (PG-19)1.8371.7182.079
HackerNews2.4232.3112.821
NIH ExPorter1.8642.1352.413
OpenSubtitles2.1842.1362.510
OpenWebText22.0272.2642.321
PhilPapers1.9472.2252.280
Pile-CC2.0952.4412.430
PubMed Abstracts1.6941.9372.220
PubMed Central1.6971.4942.122
StackExchange1.7761.5882.078
USPTO Backgrounds1.7401.8412.142
Ubuntu IRC2.0941.7042.518
Wikipedia (en)1.5971.6291.758
YoutubeSubtitles1.9431.9552.226

RedPajama到现在的进展介绍完了，让我们期待他们的后续成果吧。

感觉有帮助的朋友，欢迎赞同、关注、分享三连。^-^

才能我浪费
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
lm-evaluation-harness:一次评估自回归语言模型的框架
04-05
大型语言模型的评估工具 概述 该项目的目标是根据描述的GPT-3评估，构建一套用于评估典型NLU任务上的LM的工具。 按照最初的描述，此存储库应支持3个功能： LM评估 从LM训练集中删除任务评估/测试数据 将任务训练数据添加到LM训练集中 任务概述 任务名称 火车 值 测试 指标 可乐 ✓ ✓ ✓ 抄送 li ✓ ✓ ✓ acc mnli_mismatched ✓ ✓ ✓ acc MRPC ✓ ✓ ✓ acc，f1 te ✓ ✓ ✓ acc n里 ✓ ✓ ✓ acc qqp ✓ ✓ ✓ acc，f1 不锈钢 ✓ ✓ ✓ acc 万里 ✓ ✓ ✓ acc 布尔克 ✓ ✓ ✓ acc b ✓ ✓ ✓ acc，f1 美洲杯 ✓ ✓ ✓ acc 多媒体 ✓ ✓ ✓ acc 记录 ✓
自定义模型与数据进行DeepSpeed-Chat训练
chaishen10000的专栏
06-20 1153
本文将演示如何在DS-Chat代码中使用除facebook opt之外的其他预训练模型，以及如何准备并使用自定义数据进行模型训练，以便训练出针对特定领域或应用的大型模型。本章的主要内容包括以下几点：实验设置介绍：我们将介绍本实验的设置，并为你介绍这样选择的原因，希望能够给你AI技术学习提供一个参考。如何替换模型：我们将介绍如何替换DS-Chat中使用的预训练模型以及如何将自己的预训练模型集成到DS-Chat中。
LLMs之benchmark之lm-evaluation-harness：lm-evaluation-harness(语言模型评估工具)的简介、安装和使用方法、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-19 1872
​ LLMs之benchmark之lm-evaluation-harness：lm-evaluation-harness(语言模型评估工具)的简介、安装和使用方法、案例应用之详细攻略 目录 lm-evaluation-harness的简介 lm-evaluation-harness的安装和使用方法 lm-evaluation-harness的案例应用 lm-evaluation-harness的简介 2023年12月，lm-evaluation-harness项
MLC-LLM大语言模型部署实战（基于CUDA）
weixin_42904656的博客
06-01 5083
MLC-LLM 大语言模型部署 CUDA
大模型学习【大模型的数据】
weixin_41852811的博客
09-15 653
在整个数据集的生命周期中，我们需要考虑很多问题，比如数据集的创建动机，谁是数据集的创建者，数据集的创建是由谁资助的。在数据集的组成部分，我们需要了解数据集中的实例代表什么，是否有缺失信息，是否包含机密数据等。在收集过程中，我们需要了解每个实例的数据是如何获取的，谁参与了数据收集，他们是如何获得报酬的，以及是否进行了道德审查等。也就是说，虽然OpenWebText并非OpenAI直接发布的WebText的副本，但它遵循了WebText的制作思路和方法，目的是尽可能地模拟和复现WebText的数据特性和结构。
有人有pile的数据集吗？22个来源，825G的那个版本，有感谢
qq_37261783的博客
11-07 157
有人有pile的数据集吗？
最全的开源 LLM （大语言模型）整理.zip
09-04
本资源包“最全的开源 LLM （大语言模型）整理.zip”是关于开源大语言模型的一个综合集合，涵盖了多个知名的项目，帮助开发者和研究人员更好地了解和利用这些先进的技术。 【描述】: 这个压缩包包含了一个名为...
RedPajama 项目旨在创建一套领先的全开源大语言模型.rar
08-02
Large Language Model (LLM) 即大规模语言模型，是一种基于深度学习的自然语言处理模型，它能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。 所谓"语言模型"，就是只用来处理语言文字（或者符号体系...
LLM大模型测试训练语料数据
03-15
在预训练阶段，LLM 从大量未标记的文本数据中学习广泛的知识，然后将其存储在其模型参数中。它使 LLM 具有一定程度的语言理解和生成能力。预训练语料库可以包含各种类型的文本数据，如网页、学术资料、书籍，同时也...
一个基于 Java 的 LLM（大语言模型）应用开发框架
最新发布
06-29
这个框架的出现，使得开发者能够利用Java这一广泛使用的编程语言，更高效地构建和部署LLM（大语言模型）相关的应用程序。 LLM，全称为Large Language Model，是一种经过大规模数据训练的语言模型，它可以理解和生成...
探秘The Pile：大规模、多领域的人工智能训练数据集
gitblog_00027的博客
04-25 743
探秘The Pile：大规模、多领域的人工智能训练数据集 项目地址:https://gitcode.com/EleutherAI/the-pile The Pile 是一个由EleutherAI社区构建的开源数据集，旨在为自然语言处理（NLP）模型提供丰富、多样化的训练素材。该项目的核心理念是提供一个比现有公共数据集更全面、更具代表性的样本集合，以推动AI研究的发展。 数据集构成与技术分析 The...
the-pile
03-19
桩复制代码 堆是一个庞大的，多样化的，开源的语言建模数据集，由许多较小的数据集组合而成。目的是从尽可能多的模式中获取文本，以确保使用“桩”训练的模型将具有更广泛的泛化能力。我们目前正在开发第1版，最终目标是1 TiB英文文本。在完成版本1之后，我们的下一个目标是建立一个具有多种语言的10TiB文本数据集。 该存储库用于复制或制作桩的变体。如果您想使用“桩”，则计划在不久的将来发布正式版本。如果您想在正式发布之前成为PILE的早期用户，请通过我们的与我们联系。 桩目前正在大力发展。可能会Swift引入重大更改，而不会发出警告。 成分 原始尺寸 重量 时代 有效尺寸 平均文件尺寸 227.12 GiB 18.11％ 1.0 227.12 GiB 4.33 KiB 90.27 GiB 14.40％ 2.0 180.55 GiB 30.55 KiB 100.96 GiB 1
大语言模型数据集（二）
babyzbb636的博客
10-19 1194
该数据集用于训练和评估用于检测机器释义文本的模型。训练集包含从 8,024 篇维基百科（英文）文章（4,012 篇原文，4,012 篇使用 SpinBot API 释义）中提取的 200,767 段（98,282 篇原文，102,485 篇释义）。测试集分为 3 个子集：一个来自 arXiv 研究论文的预印本，一个来自毕业论文，另一个来自 Wikipedia 文章。此外，还使用了不同的 Marchine-paraphrasing 方法。
类似ChatGPT大模型排行榜-SuperCLUE琅琊榜TOP16
Ak 的博客
06-10 739
SuperCLUE琅琊榜使用Elo评级系统来计算模型的相对性能。SuperCLUE琅琊榜将定期发布新的排行榜。
Phoenix(凤凰)的安装介绍
大数据梦想家
12-28 3906
        本篇博客,小菌为大家带来的是关于Phoenix的入门介绍及安装说明。          Phoenix 介绍         phoenix，中...
一文看全开源大语言模型汇总
中生代技术
05-08 4584
转自分布式实验室01Alpaca/LLaMA（Meta/Stanford）斯坦福 Alpaca：一个遵循指令的 LLaMA 模型。LLaMA 网站：https://ai.facebook.com/blog/large-language-model-llama-meta-ai/Alpaca 网站：https://crfm.stanford.edu/2023/03/13/alpaca.htmlAlpa...
Phoenix（安装及使用）
little_sloth的博客
07-24 683
一、Phoenix概述 Phoneix简介 构建在HBase上的SQL层 使用标准SQL在HBase中管理数据 使用JDBC来创建表，插入数据、对HBase数据进行查询 Phoenix JDBC Driver容易嵌入到支持JDBC的程序中 Phoenix支持类SQL语法 Phoenix无法代替RDBMS 原因：缺乏完整性约束，很多领域尚不成熟 Phoenix使HBase更易用 Phoenix支持的关键字类型 Standard SQL Data Types --标准SQL 数据类型 SELECT, UPS
2024 年 8 个顶级开源 LLM（大语言模型）_开源llm，2024年最新最新Golang大厂高频面试题
2401_84239901的博客
04-14 1157
OPT-175B 是市场上最先进的开源 LLM 之一，是 GPT 最强大的兄弟，性能与 GPT-3 相似。使用 GPT-4 作为评委的初步评估显示，Vicuna-13B 达到了 ChatGPT 和 Google Bard 的 90% 以上质量，然后在超过 90% 的情况下优于 LLaMa 和 Alpaca 等其他模型。然而，如果你正在考虑开发一家具有 LLM 的人工智能驱动型公司，你最好考虑另外的模型，因为OPT-175B 是在非商业许可下发布的，只允许将该模型用于研究。越来越多的公司正在加入LLM竞赛。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值