论文笔记--Baichuan 2: Open Large-scale Language Models

最新推荐文章于 2025-05-01 09:28:49 发布
最新推荐文章于 2025-05-01 09:28:49 发布
阅读量1.1k 收藏 1
点赞数
分类专栏： 论文阅读 文章标签： 论文阅读 语言模型 百川 自然语言处理 开源
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38124427/article/details/134358595
版权

论文笔记--Baichuan 2: Open Large-scale Language Models

1. 文章简介

  • 标题：Baichuan 2: Open Large-scale Language Models
  • 作者：Aiyuan Yang et al.
  • 日期：2023
  • 期刊：arxiv preprint

2. 文章概括

   文章提出了百川2开源大模型，在MMLU、GSM8K等benchmarks上超过了现有的开源模型表现，特别地，百川2在医疗、法律等垂域上表现亮眼。百川2模型包括Baichuan 2-7B 和Baichuan 2-13B 和两个不同大小模型，可以供不同需求、不同预算的研究使用，两个模型的区别如下表所示。
百川1VS2

3 文章重点技术

3.1 预训练

3.1.1 预训练数据

  百川2尝试去提高数据的规模和代表性，为此，文章从网页、数据、研究论文、代码等不同来源构建尽可能丰富的预训练数据。下图为百川2的预训练数据分布情况
数据分布

  百川2希望模型可以接收尽可能高质量的数据集，为此，文章构建了高效的聚类和去重系统。如下图所示，百川2的数据处理程序分为：

  • Exact deduplication：完全相同的重复数据剔除
  • Heuristic approach：一些启发式的算法（文章并没有提到具体方法）
  • Sent-wise quality filter：句子级别的质量过滤（maybe 过滤一些广告、tag之类的，然后再对过滤后的句子、段落去重一遍）
  • Sent-wise, paragraph-wise deduplication：句子、段落级别的去重
  • Document deduplication：文档级别的去重
    数据过滤

3.1.2 模型架构

  • 分词器：为了构建一个大小合适且压缩率高的分词器，文章将词表大小从百川1的64000扩充到125695。分词方法为BPE。特别地，为了更好地处理数字，百川2将数字分隔为单个的digit；为了更高地处理代码，百川2在分词器中增加了空格tokens（单个空格、多个空格分别为一个token？）
  • 位置编码：百川2选择采用AliBi编码，该方法相比于RoPE编码方法表现更好。
  • 激活函数：百川2使用SwiGLU作为激活函数。SwiGLU是当下一些LLMs（PALM，LLaMA等）倾向选择的一种激活函数。由于SwiGLU相当于两个线性变换（其中一个加了Swi函数）的乘积，前馈层SwiFFN包含了三个参数矩阵 ( S w i s h ( x W 1 ) × x V ) W 2 (Swish(xW_1)\times xV) W_2 (Swish(xW1​)×
最低0.47元/天 解锁文章
Baichuan2：Open large-scale language models
liguandong
10-26 568
分词器需要平衡两个关键因素：高压缩率以实现高效的推理，并适当大小的词汇表以确保每个词embedding的充分训练。数据频率依赖于聚类和去重，构建了一个支持LSH型特征和稠密embedding特征的大规模去重和聚类系统，单个文档、段落和句子被去重评分，这些评分然后用于预训练中的数据采样。baichuan2-7B-chat，baichuan2-13B-chat，对齐包括sft和rlhf。在训练具有数十亿参数的大型语言模型之前，首先训练一些小模型，并为训练更大的模型拟合一个缩放定律。1024块A800 GPU。
Baichuan 2: Open Large-scale Language Models
c_cpp_csharp的专栏
09-13 415
大型语言模型（LLM）在基于自然语言指令的几个例子的各种自然语言任务中表现出了显著的性能，从而减少了对广泛功能工程的需求。然而，大多数强大的LLM都是封闭源代码的，或者对英语以外的语言的能力有限。在这份技术报告中，我们展示了百川2，这是一系列包含70亿和130亿参数的大型多语言模型，在2.6万亿token上从头开始训练。百川2在MMLU、CMMLU、GSM8K和HumanEval等公共基准测试上与其他类似规模的开源模型相匹配或优于其他开源模型。此外，百川2在医药、法律等垂直领域表现突出。
【论文阅读】《Baichuan 2: Open Large-scale Language Models》
weixin_45606499的博客
10-16 5010
摘要大型语言模型 (LLM) 在自然语言任务上展现了出色的性能，减少了对大量特征工程的需求。但大多数高效的LLM主要针对英语或为闭源。本技术报告介绍了Baichuan 2，一个大规模多语言模型系列，包含70亿和130亿参数，基于2.6万亿tokens从零开始训练。Baichuan 2在公开基准测试如MMLU、CMMLU、GSM8K和HumanEval上达到或超过了其他同类开源模型的性能，并在医学和法律等垂直领域表现优异。
[论文笔记]Baichuan 2: Open Large-scale Language Models
强化学习曾小健
09-20 300
大型语言模型 (LLMs) 在自然语言任务上展现了出色的性能，减少了对大量特征工程的需求。但大多数高效的LLMs主要针对英语或为闭源。本技术报告介绍了Baichuan 2，一个大规模多语言模型系列，包含70亿和130亿参数，基于2.6万亿tokens从零开始训练。Baichuan 2在公开基准测试如和HumanEval上达到或超过了其他同类开源模型的性能，并在医学和法律等垂直领域表现优异。我们发布所有预训练模型checkpoints，帮助研究社区更好地理解Baichuan 2的训练过程。
论文阅读：LLM：Training Compute-Optimal Large Language Models（下）
微风❤水墨
01-16 1349
尽管得出了同样的结论，但DeepMind认为：大型模型应训练更多的token，远超过OPenAI作者推荐的数量。所以后续的工作都专注于提升参数规模，设计越来越大的模型，而不是在更多的数据上训练较小的模型。使用这些中间损失观测，导致对训练模型在小于130B token的数据上的有效性的低估，并最终导致了一个结论，即模型大小应比训练数据大小增长得更快。在每条曲线的最小值的左侧，模型太小——在较少数据上训练的较大模型将是一种改进。在每条曲线的最小值的右侧，模型太大——在更多数据上训练的较小模型将是一种改进。
LLMs之Baichuan2：《Baichuan 2: Open Large-scale Language Models》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
09-07 2986
​ LLMs之Baichuan2：《Baichuan 2: Open Large-scale Language Models》翻译与解读 目录 相关文章 《Baichuan 2: Open Large-scale Language Models》翻译与解读 Abstract摘要 1Introduction引言 2Pre-training预训练 3 Alignment对齐=SFT+RLHF(RM+RL)
百川2-大模型-论文笔记
ding_zhikai的博客
11-21 1176
baichuan2 开源大模型，论文阅读笔记
百川2模型解读
qq_32907491的博客
05-05 1589
Baichuan 2是多语言大模型，目前开源了70亿和130亿参数规模的模型。在公开基准如MMLU、CMMLU、GSM8K和HumanEval上的评测，Baichuan 2达到或超过了其他同类开源模型，并在医学和法律等垂直领域表现优异。此外，官方还发布所有预训练模型的checkpoints，帮助研究社区更好地理解Baichuan 2的训练过程。
【论文阅读】-周总结-第5周
wangshangshang09的博客
04-27 855
链接论文信息： Liu S, Xu T, Du X, et al. A hybrid deep learning model based on parallel architecture TCN-LSTM with Savitzky-Golay filter for wind power prediction. Energy Conversion and Management, 2024, 302: 118122.内容总结：链接论文信息： Leinauer J, Weber S, Cicoira A, et
论文阅读：2024 ACM SIGSAC Membership inference attacks against in-context learning
CSPhD-winston的博客
04-30 774
在这个示例中，语言模型要完成的任务是根据问题的答案类型进行分类，比如答案类型可能是数字（Number）、地点（Location）、人物（Person）、描述（Description）、实体（Entity）或缩写（Abbreviation）。：帮助理解ICL的工作方式，它通过在输入中添加提示（包含指令和演示示例），让语言模型在不更新自身参数的情况下，通过类比示例来完成特定任务。这篇论文主要研究了大语言模型中上下文学习（ICL）的隐私安全问题，提出针对ICL的成员推理攻击方法，并探索了相应的防御策略。
论文笔记（八十二）Transformers without Normalization
xzs1210652636的博客
04-30 795
归一化层在现代神经网络中无处不在，并且长期以来被认为是必不可少的。本工作表明，通过一种非常简单的技术，不使用归一化的Transformer也能达到相同或更好的性能。我们提出了动态Tanh (Dynamic Tanh——DyT)，一种逐元素操作$\text{DyT}(x)=\tanh(\alpha x)$，可作为Transformer中归一化层的直接替代。$\text{DyT}$的灵感来源于观察到Transformer中的层归一化通常会产生类似tanh的“S型”输入输出映射。通过引入$\text{DyT}$，
论文阅读：2024 ICML In-Context Unlearning: Language Models as Few-Shot Unlearners
CSPhD-winston的博客
04-30 727
这篇论文主要介绍了一种针对大语言模型（LLMs）的新型遗忘学习方法——上下文内遗忘（In-Context Unlearning，ICUL），旨在解决从模型中删除特定训练数据的问题。Figure 1：上下文内遗忘与标准遗忘的差异。Figure 2：上下文内遗忘的示例。
论文阅读：MAXIM Multi-Axis MLP for Image Processing
最新发布
Matrix-11
05-01 712
近年来，Transformer 和多层感知机（MLP）模型的发展为计算机视觉任务提供了新的网络架构设计。尽管这些模型在图像识别等许多视觉任务中已被证明是有效的，但在将它们应用于底层视觉任务时仍存在挑战。对高分辨率图像支持的灵活性不足以及局部注意力机制的局限性，可能是主要的瓶颈所在。在这项工作中，我们提出了一种基于多轴 MLP 的架构，称为 MAXIM，它可以作为一种高效且灵活的通用视觉主干架构，用于图像处理任务。MAXIM 采用了 U 型网络的分层结构，并通过空间门控的 MLP 实现了长距离的交互。
Sce2DriveX: 用于场景-到-驾驶学习的通用 MLLM 框架——论文阅读
qq_54556560的博客
04-29 658
Sce2DriveX利用来自局部场景视频和全局BEV地图的多模态联合学习，深入了解长距离时空关系和道路拓扑，增强其在3D动态/静态场景中的综合感知和推理能力，实现跨场景的驾驶泛化。在此基础上，它重建了人类驾驶固有的内隐认知链，涵盖场景理解、元动作推理、行为解释分析、运动规划和控制，从而进一步弥合了自动驾驶与人类思维过程之间的差距。：传统方法依赖刚性规则或小型模型，缺乏对驾驶过程的渐进式推理（Chain-of-Thought, CoT），导致决策逻辑不透明，难以与人类驾驶思维对齐。
论文笔记-多智能体任务分配：动态智能空间中的拍卖与抢占机制
sagima_sdu的博客
04-29 1151
DySOMA的核心是一种先进的基于拍卖的算法，结合了新颖的任务抢占排序机制，并与动态更新的本体知识图谱无缝集成。》的论文，该文提出了一种名为DySOMA（Dynamic System Optimisation for Multiagent）的框架，旨在通过拍卖算法和任务抢占机制，结合本体知识图谱，提升动态智能空间中多机器人系统的任务调度效率。》是一篇极具启发性的论文。例如，在智能家居场景中，知识图谱可以帮助机器人识别房间的位置、物品的状态以及用户的偏好，从而在任务分配过程中做出更合理的决策。
【第三十三周】BLIP论文阅读笔记
m0_59510256的博客
04-27 1109
本博客介绍了BLIP（Bootstrapping Language-Image Pre-training），这是一种创新的视觉-语言预训练框架，旨在通过统一模型架构和高效数据增强策略，同时解决现有视觉-语言模型在理解与生成任务上的割裂性以及网络数据噪声对性能的制约。
[论文阅读]Practical Poisoning Attacks against Retrieval-Augmented Generation
m0_52911108的博客
04-27 855
大多数现有攻击都假设攻击者可以为每个查询插入足够数量的投毒文本以超过检索中正确答案文本的数量，这一假设通常是不现实的。为了解决这一局限性，我们提出了 CorruptRAG，这是一种针对 RAG 系统的实用性投毒攻击，其中，从而提高了可行性和隐蔽性。在多个数据集上的大量实验表明，与现有基线相比，CorruptRAG 实现了更高的攻击成功率。
论文阅读_Citrus_在医学语言模型中利用专家认知路径以支持高级医疗决策
谢彦的技术博客
04-28 674
介绍 Citrus，一个医学语言模型，旨在模拟医疗专家的认知过程，以改善医学推理任务。
llama-factory微调baichuan
02-17
### 使用 LLaMA-Factory 对 Baichuan 模型进行微调 为了使用 LLaMA-Factory 对 Baichuan 模型进行微调，需遵循一系列具体操作流程。这不仅涉及加载模型本身，还包括定义训练配置以及执行实际的微调过程。 #### 加载Baichuan模型 首先，要从指定路径加载预训练好的Baichuan模型到所需的设备上（如GPU），可以通过如下Python代码完成： ```python from llama_factory import load_llama_model model = load_llama_model('path_to_baichuan_model', device='cuda') ``` 此部分代码展示了如何利用`load_llama_model`函数来加载位于本地文件系统的Baichuan模型，并将其放置在CUDA设备之上以便加速计算[^1]。 #### 配置训练设置 接着，在准备开始微调之前，应当合理设定训练的各项超参数和其他必要条件。这些配置可能涉及到优化器的选择、学习率调整策略等方面的内容。虽然具体的配置细节未在此处给出，但是通常会创建一个字典对象或者其他形式的数据结构来保存所有的训练选项[^2]。 #### 执行微调过程 最后一步就是基于已有的数据集启动微调程序。假设已经有了适当格式化的输入数据，则可以直接调用相应的API来进行这一阶段的工作。值得注意的是，由于不同应用场景下所需处理的任务差异较大，因此建议参考官方文档或教程获取更详细的指导信息关于如何针对特定任务定制化地应用LLaMA-Factory框架[^3]。 此外，考虑到Baichuan是一个大型语言模型(LLM)，其微调工作可能会消耗较多资源并需要较长的时间才能达到理想效果。所以，在实践过程中务必做好充分规划和技术支持保障措施[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值