Qwen2 技术报告（翻译）

已于 2024-08-01 21:25:55 修改
阅读量939 收藏 15
点赞数 13
分类专栏： # 混合专家模型MOE # Qwen千问源码解析及介绍 LLM大语言模型 文章标签： 深度学习 人工智能
于 2024-07-17 00:08:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_37574187/article/details/140480255
版权

Qwen2 技术报告（翻译）

原创 Qwen2 机智流 2024年07月16日 20:16 浙江

原文链接：https://arxiv.org/html/2407.10671v1

图片

💡 TR-DR：

  • Tokenizer:BBPE, vocab_size=151646

  • Pretrain：0.5B(12T)、1.5B,7B,72B(7T)、57-A14B(4.5T)

  • Data mixture：缩放模型上确定数据配比

  • Long C

了解本专栏 订阅专栏 解锁全文 超级会员免费看
AI生成曾小健
关注
专栏目录
订阅专栏
QWEN2 TECHNICAL REPORT
c_cpp_csharp的专栏
07-23 537
本报告介绍了Qwen2系列，这是我们大型语言模型和大型多模态模型的最新成员。我们发布了一套全面的基础和指令调优语言模型，参数范围从5亿到720亿，包括密集模型和混合专家模型。Qwen2超越了包括其前身Qwen1.5在内的大多数先前的开放权重模型，并在语言理解、生成、多语言能力、编码、数学和推理等不同基准上表现出与专有模型相比的竞争性能。
论文翻译：QWEN2 TECHNICAL REPORT
CSPhD-winston的博客
10-09 518
本报告介绍了Qwen2系列，这是我们大型语言模型和大型多模态模型的最新成员。我们发布了一套全面的基础和指令调优语言模型，涵盖了从0.5亿到720亿的参数范围，包括密集模型和专家混合模型。Qwen2超越了大多数以前的开放权重模型，包括其前身Qwen1.5，并在语言理解、生成、多语种熟练度、编程、数学和推理等多样化基准上展现出与专有模型相竞争的性能。在MMLU上得分84.2，在GPQA上得分37.9，在HumanEval上得分64.6，在GSM8K上得分89.5，在BBH上得分82.4。
Qwen2 技术报告（中文版）
木尧大兄弟
07-17 7608
这篇技术报告介绍了Qwen2系列，这是我们大型语言模型和大型多模态模型系列中的最新成员。我们发布了一套全面的基础和指令调整语言模型，参数范围从0.5b 到 72b，包括稠密模型和专家混合模型。Qwen2在包括语言理解、生成、多语言能力、编码、数学和推理在内的多个基准测试中，超越了大多数以前的开放权重模型，包括其前身Qwen1.5，并且与专有模型表现出竞争力。
【机器学习】Qwen2大模型原理、训练及推理部署实战
热门推荐
人工智能领域博客
06-10 1万+
本文首先对Qwen2模型概述以及模型架构进行讲解，接着基于llama_factory命令行的方式进行模型训练演示，最后基于hf transformers进行模型推理的讲解。过程中排了好几个坑，呈上的代码保证在国内网络环境下是可运行的。希望能帮助到大家
LLM训练-pretrain，大模型预训练，非常详细收藏我这一篇就够了
最新发布
2401_85343303的博客
10-19 1795
pretrain 的全环节大抵如此，我列出来的每个环节我认为都是同等重要的。之前看见有种说法说洗数据是脏简历的工作，恕我不能认同。如果 infra 团队已经帮忙调通了 megatron 的训练代码，那么训练才是真的最没技术含量的工作，改几个参数，然后 bash train.sh，训练挂了就重启，这些工作谁做不来呢？反倒是洗数据时的灵光一现，往往能大大提升模型的效果。因此，“数据篇”也是我笔墨最多的篇章。希望这篇文章能帮到对 pretrain 感兴趣的同学，至于细节就不要再追问了，更多东西是真不能说了。
小白学大模型——Qwen2理论篇
fan_fan_feng的专栏
05-16 3305
SWA指的是Sliding Window Attention，是一种注意力模式，用于处理长序列输入的问题。这里的mixture可能指的是这两种注意力机制的结合使用。在自然语言处理和编程语言处理中，分词器用于将文本分解成更小的单位（如词、字符或其他符号），这是理解和处理文本的基础步骤。：Grouped-query attention，它是一种插值方法，介于多查询和多头注意力之间，可以在保持接近多头注意力的质量的同时，达到与多查询注意力相当的速度。: 不多说，最主流的transformer架构，不变。
Qwen2模型开源，你值得拥有！
xx_nm98的博客
06-07 2274
期待已久的Qwen2，他如约而至，他来了，他带着5个尺寸的大模型迎面走来了。Qwen2本次开源了4个Dense模型和1个MoE模型，Dense模型包括0.5B、1.5B、7B和72B 4个尺寸，MoE模型总参数为57B，激活参数14B。Qwen2系列模型为多语言模型，除英文和中文外，还支持其他27种语言；同时具有RAG、工具调用、角色扮演、Agent等多种功能。Qwen2依然很硬核，全面开源，模型又多效果又好，不枉费期待那么久。
Qwen2-MOE-57B-A14B模型结构解读
大模型天花板
06-09 3747
该模型总的参数为57B，激活参数为14B，推理速度比32B的快，而且性能更好。
LLM 系列——Qwen2——论文解读
TigerZ*的博客
07-24 574
Qwen2 是单模态纯文本的大语言模型，开源了一整套基础和指令调优的语言模型，参数范围从5亿到720亿不等，包括密集模型和混合专家模型。可以用于：语言理解、生成、多语言、编码、数学和推理。主要是精召性能提升、数据和长文本处理方面改进，包括数据处理等使用了一些最新的其他论文的思路，模型结构等方面并没有大的改动。
为什么Qwen2用户表示有乱码输出问题？Qwen2系列开源，目前国内非常好用的LLM！
人工智能曾小健
07-11 1923
经过数月的等待和阿里团队不懈的努力，Qwen系列开源模型迎来了从Qwen1.5到Qwen2的飞跃式升级。本次升级亮点包括：5种不同尺寸的预训练及指令微调模型，包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B；在中文和英语的基础上，新增27种语言的高质量训练数据；在多个评测基准上取得领先表现；显著提升代码和数学能力；支持更长的上下文长度，最高可达128K tokens（Qwen2-72B-Instruct）。
Qwen2-1.5B-Instruct Lora微调
m0_50972200的博客
07-24 1918
最近做了一个基于Qwen2-1.5B-Instruct模型的比赛，记录一下自己的微调过程。怕自己以后忘了我就手把手一步一步来记录了。大多数都是给小白看的，如果你是小白建议你用jupyter运行，按照我这个模块一块一块运行，如果你是高手单纯的想找一个训练代码直接看模块10，我在提供了完整代码。
只需30分钟，微调阿里 Qwen2-7B，搭建专属 AI 客服
weixin_43829633的博客
06-07 2496
LLaMA-Factory 在data文件夹中提供了多个训练数据集示例，支持alpaca或sharegpt格式，不过我这里使用的是自己提前导出来做过处理的自定义数据集。自定义数据集选用alpaca因为我只有标注后的问答对，所以只需要填充和output部分即可，下面是部分数据，保存为 bajigo.json，并上传到 LLaMA-Factory 的 data 目录下。"instruction": "我能建两份菜单然后自行切换吗","output": "你好，暂不支持同时创建多个菜单。
Qwen2-1___5B-Instruct 推理
weixin_42029635的博客
07-22 1078
Union[List[Dict[str, str]], List[List[Dict[str, str]]]], 一个字典列表，其中每个字典包含 'role' 和 'content' 键，表示至今的对话记录。Optional[List[Dict[str, str]]] = None, 一个字典列表，表示可以被模型访问的文档，前提是模型正在执行RAG（检索增强生成）。如果模板不支持RAG，这个参数将不会产生任何效果。需要注意的是，这个参数会被传给聊天模板，因此必须在模板中支持这个参数，本参数才能生效。
[论文笔记] PAI-Megatron 1、Qwen continuing pretrain(CT)千问预训练
心宝的博客
01-16 1125
数据情况：预训练数据已经用qwen-tokenizer分过词。所以不需要准备数据。如果需没有数据，也可以从Pai-Megatron上拉数据。克隆Pai-Megatron-Patch源代码并拷贝到工作目录/mnt/workspace/下。注意：EXTRA_VOCAB_SIZE，7B使用85，14B和72B模型使用213。目标：使用qwen基座来做CT。
开源超闭源！通义千问Qwen2发布即爆火，网友：GPT-4o危
量子位
06-08 1724
鱼羊 发自 凹非寺量子位 | 公众号 QbitAI开源大模型全球格局，一夜再变。这不，全新开源大模型亮相，性能全面超越开源标杆Llama 3。王座易主了。不是“媲美”、不是“追上”，是全面超越。发布两小时，直接冲上HggingFace开源大模型榜单第一。这就是最新一代开源大模型Qwen2，来自通义千问，来自阿里巴巴。在十几项国际权威测评中，Qwen2-72B得分均胜过Llama3-70B，尤其在H...
LLM-1：基于Qwen2-1.5b的rag实现方法
m0_61933618的博客
08-30 502
由于大模型，例如chatgpt、qwen2、llama3等都是在大规模通识数据库上进行预训练，因此对于特定领域的知识关注较少，使用RAG方法，可以将特定领域知识与大模型（llm）能力进行有机结合，得到更好的效果。1、数据库的数据（例如：专业领域的论文、书籍、笔记等）：个人感觉将pdf转成markdown格式的效果更好。2、数据的向量嵌入（Embeding）：常见的嵌入模型可以在下面网站进行获取，里面包含大量的中文和英文嵌入模型。3、向量数据库的建立：目的是存储数据的嵌入向量，并在用户阶段进行检索。
LLM - Qwen-72B LoRA 训练与推理实战
BITDDD小栈
02-05 7671
LLM Qwen-72B 简介与 LoRA 微调、推理。
基于 Qwen2-1.5B Lora 微调训练医疗问答任务
小毕超博客
09-21 709
Qwen是阿里巴巴集团Qwen团队研发的大语言模型和大型多模态模型系列。Qwen2 是 Qwen1.5 的重大升级。无论是语言模型还是多模态模型，均在大规模多语言和多模态数据上进行预训练，并通过高质量数据进行后期微调以贴近人类偏好。
最强开源大模型面世：阿里发布Qwen2
OneFlow深度学习框架
06-07 4831
今天凌晨，阿里巴巴通义千问团队发布了Qwen2系列开源模型。该系列模型包括5个尺寸的预训练和指令微调模型：Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B以及Qwen2-72B。随即，硅基流动团队在云服务平台SiliconCloud上线了Qwen2-7B、Qwen2-57B-A14B、Qwen2-72B模型。欢迎来玩儿：https://cloud.sili...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI生成曾小健

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值