大模型论文 | 斯坦福发布超大规模100万亿Token的大模型训练数据集RedPajama-V2

最新推荐文章于 2025-01-21 10:04:43 发布

大模型本地部署_

最新推荐文章于 2025-01-21 10:04:43 发布

阅读量926

点赞数 23

CC 4.0 BY-SA版权

文章标签：人工智能大模型 LLM 语言模型自然语言处理大模型训练 ai

本文链接：https://blog.csdn.net/Androiddddd/article/details/143934479

1. RedPajama: an Open Dataset for Training Large Language Models

大语言模型日益成为人工智能、科学和社会中的基石技术，然而，在数据集组成和筛选方面的最优策略仍然难以捉摸。许多表现最佳的模型在其数据集策展和模型开发过程中缺乏透明度，这成为开发完全开源语言模型的障碍。在本文中，我们发现三项核心数据相关挑战，包括（1）模型开发中的透明度，包括数据策展过程，（2）获取大量高质量数据，以及（3）数据策展和分析所需的成品和元数据。为了解决这些挑战，我们发布了RedPajama-V1，这是对LLaMA训练数据集的开放复现。此外，我们发布了RedPajama-V2，这是一个仅限网络的大规模数据集，包含原始、未过滤的文本数据、质量信号和元数据。RedPajama数据集合计超过100万亿个令牌，覆盖多个领域，并通过其质量信号促进数据筛选，旨在激发开发众多新数据集。迄今为止，这些数据集已被用于训练如Snowflake Arctic、Salesforce的XGen和AI2的OLMo等用于生产的强大语言模型。为了提供RedPajama质量的见解，我们使用具有多达16亿参数的仅解码器语言模型进行了一系列分析和消融研究。我们的发现表明，如何有效利用网络数据的质量信号来策展数据集中的高质量子集，突显了RedPajama在推进透明和高性能语言模型开发方面的潜力。

论文: https://arxiv.org/pdf/2411.12372

2. Continuous Speculative Decoding for Autoregressive Image Generation

连续值自回归（Continuous-valued AR）图像生成模型在重建质量和生成保真度方面已经展现出显著的优势，超过了其离散标记的同类模型。然而，自回归框架的计算需求导致了显著的推理开销。虽然推测解码已被证明能有效加速大型语言模型（LLMs），但将其适应连续值视觉自回归模型的研究尚未展开。本文将推测解码算法从离散标记推广到连续空间。通过分析输出分布的内在特性，我们为这些模型中普遍存在的扩散分布建立了定制化的接受标准。为了解决推测解码输出分布中的不一致性，我们提出了去噪轨迹对齐和标记预填充方法。此外，我们还识别了拒绝阶段难以采样的分布。为了解决这一问题，我们提出了一种精细的接受-拒绝采样方法，并设定了适当的上限，从而避免了复杂的积分。实验结果表明，我们的连续值推测解码在保持输出分布的同时，实现了显著的2.33倍加速。代码将在https://github.com/MarkXCloud/CSpD 供开源。

论文: https://arxiv.org/pdf/2411.11925

3. ITACLIP: Boosting Training-Free Semantic Segmentation with Image, Text, and Architectural Enhancements

最近基础视觉语言模型（VLMs）的进步已经重塑了计算机视觉任务的评估标准。这些基础模型，尤其是CLIP，加速了开放词汇计算机视觉任务的研究进展，包括开放词汇语义分割（OVSS）等。尽管初步结果令人鼓舞，但视觉语言模型的密集预测能力仍需进一步提升。在本文中，我们通过提出新的模块和进行修改来提升CLIP的语义分割性能：1）在ViT的最后一层进行架构调整，并将中间层的注意力图与最后一层结合使用，2）图像工程：应用数据增强以丰富输入图像的表示，3）使用大型语言模型（LLMs）为每个类名生成定义和近义词，以利用CLIP的开放词汇能力。我们的无训练方法ITACLIP在语义分割基准测试（如COCO-Stuff、COCO-Object、Pascal Context和Pascal VOC）上的表现优于当前最先进的方法。我们的代码可在https://github.com/m-arda-aydn/ITACLIP获取。

论文: https://arxiv.org/pdf/2411.12044

4. SEAGULL: No-reference Image Quality Assessment for Regions of Interest via Vision-Language Instruction Tuning

现有的图像质量评估（IQA）方法在分析整体图像的质量方面取得了显著的成功，但很少有工作探索对感兴趣区域（ROIs）的质量分析。ROIs的质量分析可以提供精细粒度的指导，对于关注区域级质量的场景至关重要。本文提出了一种名为SEAGULL的新网络，它可以借助大型视觉-语言模型的指导来评估ROIs的质量。SEAGULL结合了视觉-语言模型（VLM）、由分割一切模型（SAM）生成的掩码来指定ROIs，并且包含一个精心设计的基于掩码的特征提取器（MFE）来提取指定ROIs的全局和局部特征，从而实现准确的细粒度IQA。此外，本文构建了两个基于ROIs的IQA数据集SEAGULL-100w和SEAGULL-3k，用于训练和评估基于ROIs的IQA。SEAGULL-100w包含100万张合成失真图像，其中包含3300万个ROIs，用于预训练以提高模型对区域质量感知的能力，而SEAGULL-3k包含3000个真实的失真ROIs，以增强模型对现实世界失真的感知能力。在SEAGULL-100w上进行预训练，并在SEAGULL-3k上进行微调后，SEAGULL在细粒度ROIs质量评估方面表现优异。代码和数据集可在https://github.com/chencn2020/Seagull免费获取。