通义千问重磅开源Qwen2.5，性能超越Llama

已于 2024-09-20 17:50:02 修改
阅读量1.2k 收藏 4
点赞数 10
分类专栏： # 大模型来了 文章标签： llama 大模型 通义千问 Qwen 深度学习 人工智能
于 2024-09-20 17:46:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yanceyxin/article/details/142390960
版权

Qwen2.5 新闻

  1. 9月19日云栖大会，阿里云CTO周靖人发布通义千问新一代开源模型Qwen2.5，旗舰模型Qwen2.5-72B性能超越Llama 405B，再登全球开源大模型王座。Qwen2.5全系列涵盖多个尺寸的大语言模型、多模态模型、数学模型和代码模型，每个尺寸都有基础版本、指令跟随版本、量化版本，总计上架100多个模型，刷新业界纪录。
    在这里插入图片描述
  2. Qwen2.5系列模型，特别是旗舰版本Qwen2.5-72B，凭借卓越的性能，成功超越了Facebook的Llama 405B。这一模型涵盖了多个尺寸的大语言模型、多模态模型、数学模型和代码模型，构建了一个丰富而多样化的模型生态体系。每个模型都提供基础版本、指令跟随版本和量化版本，总计上架并可供下载的模型达100多个，而截至2024年9月中旬，通义千问模型的累计下载量已经突破了4000万，成为仅次于Llama的世界级模型群。
  3. “相比上一代模型，Qwen-Max在训练中使用了更多的训练数据、更大的模型规模、更强的人类对齐，最终达到了更高的智能水平。在MMLU-Pro、MATH、GSM8K、MBPP、MultiPL-E、LiveCodeBench等十多个权威基准上，Qwen-Max表现接近GPT-4o，数学能力、代码能力则超越了GPT-4o。数学和代码所代表的推理能力是大模型智能水平的最重要体现。”周靖人称。
  4. 截至2024年9月中旬，通义千问开源模型下载量突破4000万，Qwen系列衍生模型总数超过5万个，成为仅次于Llama的世界级模型群。
  5. Qwen 团队的最新发布包括了 Qwen2.5 语言模型，以及专门针对编程的 Qwen2.5-Coder 和数学的 Qwen2.5-Math 模型。
    在这里插入图片描述

网友观点

  1. 网友一：通义千问现在下载量这么高了，后续的服务和迭代能跟上吗？模型大了，需要的算力可不少，怎么保证性能不下滑？
  2. 网友二：通义千问这次开源Qwen2.5，真的挺期待的。但是，数据安全和隐私保护问题怎么解决？感觉这个是绕不开的大难题啊。
  3. 网友三：QWen 确实厉害。
  4. 网友四：阿里真的是有点东西！
  5. 网友五：感谢马云开源！
  6. 。。。

相关地址

  1. git 地址：https://github.com/QwenLM
  2. 通义千问地址：https://tongyi.aliyun.com/qianwen/

相关参考

  1. https://www.zhihu.com/question/667531937/answer/3630603271
  2. https://baijiahao.baidu.com/s?id=1810628964813892835&wfr=spider&for=pc
  3. https://www.163.com/dy/article/JCF0GNQE0511DSSR.html
Qwen2.5-Max
百态老人的博客
01-30 1666
Qwen2.5-Max不仅在技术上实现了重大突破，还为未来的技术发展和应用奠定了坚实的基础。从更高效的模型优化到多模态AI技术的发展，再到智能客服、内容创作、医疗健康等多个领域的广泛应用，Qwen2.5-Max的未来充满无限可能。
阿里通义千问开源Qwen2.5系列模型：Qwen2-VL-72B媲美GPT-4
weixin_41446370的博客
09-19 5242
通义千问团队宣布，继Qwen2发布三个月后，Qwen家族的最新成员——Qwen2.5系列语言模型正式开源。这标志着可能是历史上最大规模的开源发布之一，包括了通用语言模型Qwen2.5，以及专门针对编程和数学领域的Qwen2.5-Coder和Qwen2.5-Math模型。Qwen2.5系列模型在最新的大规模数据集上进行了预训练，数据集包含高达18T tokens，相较于Qwen2，新模型在知识获取、编程能力和数学能力方面均有显著提升。
Windows系统下本地部署Qwen2.5大模型的实践教程（附教程）
2301_81940605的博客
03-22 1456
本文将基于Windows系统和CPU环境，使用Qwen2.5系列模型，详细实践从大型语言模型的下载、部署到微调的全过程。
通义千问 2.5 发布，成为中国最强开源大模型
aolan123的博客
05-14 1694
在 GPT-4 面世一年多后，不少大模型已经开始跟上 OpenAI 的脚步。今天阿里云的通义千问模型也进化到了 2.5 版本。在 2.5 版本中，模型在理解力、逻辑推理、指令执行和编程能力方面都有显著提升，分别比上一版本提高了 9%、16%、19% 和 10%，在中文处理能力上，通义千问更是持续保持行业领先地位。通义还推出了一个拥有 1100 亿参数的开源模型 Qwen1.5-110B，该模型在多个基准测试中超越了 Meta 的 Llama-3-70B 模型。
Qwen2.5自定义数据集微调
llz19670的博客
12-31 990
常见的数据集格式有Alpaca和ShareGPT格式。
阿里发布通义千问2.5：一文带你读懂通义千问！
热门推荐
hunteritself的博客
05-10 1万+
阿里发布通义千问2.5：一文带你读懂通义千问！
本地部署免费开源助手Ollama
乐亦亦乐的博客
11-10 4755
全方位测评：图像识别、视频分析，打造多模态视觉AI助手！（全面测试并击败“无”），本地跑大模型，需要什么配置，YOLO V10 一键整合包 解压即用 本地视觉识别大模型 一键本地部署 有没有显卡都能玩，小模型的时代终于来了，1.5B参数量模型也能轻松构建GraphRAG，Ollama+Gemma2:9b本地开源大模型输出OpenAI兼容API作为本地翻译引擎工作流|Pot|OpenAI-Translator|沉浸式翻译|喂饭教程，双4090部署qwen72b大模型 每秒150tokens。
大模型之大模型技术生态
m0_59092412的博客
08-02 1994
本文作为大模型综述第篇，介绍语言大模型技术生态。随着大模型技术的快速发展，大模型的生态体系也在快速构建。典型的大模型平台如 ChatGPT、文心一言、讯飞星火等提供如 APP、网页版、 API 接口等多种形式的开放服务，并通过开放插件机制、Function Call 等实现大模型外部工具、服务的调用，加速应用生态的发展。与此同时，开源大模型也已经成为生态体系中的关键组成部分。通过大模型的开源共建，凝聚了来自企业、高校、科研院所等众多领域高水平开发者的力量，加速大模型的科研创新和产品迭代。
听说 Qwen2.5-Max 比 DeepSeek 还牛，这是真的吗？
多森的博客
02-02 3145
大年初一，阿里云通义千问团队推出 Qwen2.5-Max 。听说它比 DeepSeek 还要好，成功吸引了业界的关注，这究竟是怎么回事呢？
Qwen 2.5-Max：阿里巴巴通义千问的超大规模 MoE 模型，开启智能语言处理新时代
寻道AI，探索AI无限可能！
02-02 4656
2025 年 1 月 29 日，阿里云正式发布了其最新的人工智能大语言模型 ——Qwen 2.5-Max，该模型一经推出，便凭借其超大规模的预训练数据、先进的 MoE 架构以及卓越的性能表现，迅速吸引了全球人工智能领域的广泛关注
Qwen2.5-Max：AI技术的新里程碑
东方佑
02-04 672
实现了高效动态采样，平衡了大规模词表的表达力与计算效率，适用于长序列处理和资源受限场景。通过上述设计，特殊token。
Qwen2.5-Max：阿里通义千问超大规模 MoE 模型，使用超过20万亿tokens的预训练数据
士多啤梨先生の博客
01-31 2539
Qwen2.5-Max是阿里云推出的超大规模MoE模型，具备强大的语言处理能力、编程辅助和多模态处理功能，支持29种以上语言和高达128K的上下文长度。
全面赶超GPT-4？阿里云发布通义千问2.5，一文带你读懂通义千问
跟着大数据和AI去旅行
05-10 3268
2024年5月9日，阿里云官方在AI智领者峰会中官宣了通义千问2.5版本，并开源了1100亿参数模型。
通义千问2.5全系升级：模型使用及API调用
2401_85549225的博客
09-23 2013
通义千问的最近开源了QWEN2.5系列模型，为用户和开发者提供了更高效、更具成本效益的AI解决方案。用户和开发者可以在智匠MindCraft的PC客户端或手机小程序上直接使用这些模型，或通过开发者平台调用API。注册即送额度，满足基本使用需求。
Qwen2.5-max 性能
No trade is free, but my contents are.
01-29 2075
Qwen2.5-Max在通识知识、编程、数学推理、中文理解等多个方面都表现出色，尤其在数学推理（GSM8K:94.5）和代码生成（MBPP:80.673.2）上明显领先。相较于Qwen2.5-72B、DeepSeek-V3和LLaMA3.1-405B，Qwen2.5-Max在所有基准测试上均表现更优，说明其在多模态任务、逻辑推理、数学推理和代码能力上具备极强的竞争力。
使用Qwen2.5-Max大模型
qq_55207368的博客
02-15 5865
要使用Qwen2.5-Max，您可以按照以下步骤操作：建议使用第二种方法。
通义千问模型升级：2.5正式上线的使用体验
Marvel__Dead 胡艺宝的博客
09-23 8787
正在用的国内的AI大模型主要有“通义千问”、“文心一言”、“讯飞星火”，还有国外的"ChatGPT"和"Copilot"，我觉得"通义千问"进步神速，因此现在我最常使用的就是"通义千问"。
开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现离线推理-性能分析（四）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
11-20 5853
使用性能分析工具（Profiler）来评估和优化模型的推理性能。
Qwen-2.5 技术报告（接近2万余字 核心技术）
zhangjiaofa的专栏
01-23 770
在本报告中，我们介绍了Qwen-2.5系列大型语言模型（LLM），该系列旨在满足多样化的需求。与之前的版本相比，在预训练和后训练阶段，Qwen-2.5都有显著的改进。在预训练方面，我们将高质量的预训练数据集从以前的7万亿个令牌扩展到现在的18万亿个令牌。这为常识、专家知识以及推理能力提供了坚实的基础。在后训练方面，我们实施了超过一百万样本的复杂监督微调，并且包括离线学习DPO和在线学习GRPO在内的多级强化学习。后训练技术极大地提升了人类偏好度，并显著改善长文本生成、结构化数据分析以及指令遵循。
通义千问qwen2.5-omni-7本地部署
最新发布
03-29
<think>好的，我现在需要帮助用户了解如何在本地部署通义千问Qwen2.5-Omni-7B模型。首先，我需要确认用户的需求，他们可能希望在自己的服务器或个人电脑上运行这个模型，所以必须了解部署的系统要求、步骤以及可能的代码示例。 根据提供的引用内容，这个模型是阿里巴巴开源的，支持多模态，包括文本、图像、音频和视频的处理，并且能够流式生成响应。因此，在部署时需要考虑多模态处理的能力以及硬件资源是否足够。 首先，系统要求方面，用户需要足够的计算资源。因为模型参数是7B规模，通常需要至少16GB的GPU显存，比如使用NVIDIA V100或A10这样的显卡。同时，内存方面建议32GB以上，存储空间需要至少20GB，因为模型文件本身可能较大，加上依赖库和数据集。软件环境方面，需要Python 3.8或更高版本，PyTorch框架，以及Hugging Face的Transformers库，这些都是运行此类模型的基础。 接下来，部署步骤。第一步是环境准备，安装必要的库，比如transformers、torch、sentencepiece等。用户可能需要使用pip安装这些依赖。然后，模型下载，可以通过Hugging Face Hub或者阿里巴巴提供的源获取模型文件。需要确保下载正确的模型版本，可能使用git lfs来下载大文件。 然后是代码示例，用户需要加载模型和分词器。使用AutoModelForCausalLM和AutoTokenizer来自动加载适合的模型结构和分词器。同时，可能需要配置设备映射，比如device_map="auto"让模型自动分配到可用的GPU上。预处理输入部分，可能需要处理多模态数据，比如图像或音频，需要特定的处理器来转换成模型可接受的输入格式。生成输出时，设置参数如max_length、temperature等来控制生成文本的长度和多样性。对于流式输出，可能需要使用generate的streamer参数，但需要查看模型的文档是否支持。 部署注意事项方面，显存优化是关键。如果显存不足，可以考虑量化技术，比如bitsandbytes库的8位或4位量化，或者使用模型并行将模型分散到多个GPU上。多模态处理部分，用户需要确保输入数据经过正确的预处理，比如图像需要resize和归一化，音频可能需要转换为频谱图等。流式响应可能需要结合WebSocket或服务器推送技术，但具体实现可能需要参考模型的API文档。 此外，用户可能需要参考官方文档和GitHub仓库，因为开源项目通常会有详细的安装和使用说明，以及可能的常见问题解答。如果遇到问题，检查依赖版本是否兼容，比如PyTorch和CUDA的版本是否匹配，transformers库是否更新到支持该模型的版本。 最后，生成相关问题需要考虑用户可能进一步的问题，比如性能优化方法、处理多模态输入的技巧，或者与其他模型的对比。这样可以帮助用户更全面地理解和应用该模型。</think>### 通义千问 Qwen2.5-Omni-7B 本地部署指南 #### 一、部署要求 1. **硬件配置** - **GPU**: 推荐 NVIDIA V100/A10/A100 等显存 ≥16GB 的显卡（7B 模型推理需约 14GB 显存） - **内存**: ≥32GB - **存储**: ≥20GB 可用空间（模型文件约 14GB） 2. **软件环境** - Python ≥3.8 - PyTorch ≥2.0（需与 CUDA 版本匹配） - Transformers ≥4.37.0 - 其他依赖：`sentencepiece`, `accelerate`, `bitsandbytes`（量化部署时需安装） #### 二、部署步骤 1. **环境准备** ```bash pip install torch transformers sentencepiece accelerate ``` 2. **模型下载** ```bash git lfs install git clone https://www.modelscope.cn/qwen/Qwen2.5-Omni-7B.git ``` 3. **基础推理代码示例** ```python from transformers import AutoModelForCausalLM, AutoTokenizer model_path = "Qwen2.5-Omni-7B" tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained( model_path, device_map="auto", trust_remote_code=True ) # 文本推理示例 inputs = tokenizer("法国的首都是哪里？", return_tensors="pt").to("cuda") outputs = model.generate(**inputs, max_length=50) print(tokenizer.decode(outputs[0])) ``` #### 三、多模态处理（需额外安装依赖） ```bash pip install pillow soundfile torchaudio ``` ```python # 图像推理示例 from PIL import Image image = Image.open("test_image.jpg").convert("RGB") image_input = model.image_processor(image, return_tensors="pt").to("cuda") text_input = tokenizer("描述这张图片", return_tensors="pt").to("cuda") outputs = model.generate(**dict(text_input, **image_input)) ``` #### 四、显存优化方案 1. **4-bit 量化部署** ```python model = AutoModelForCausalLM.from_pretrained( model_path, device_map="auto", load_in_4bit=True, # 启用4-bit量化 bnb_4bit_compute_dtype=torch.float16 ) ``` 2. **模型并行** ```python model = AutoModelForCausalLM.from_pretrained( model_path, device_map={"": 0}, # 手动分配多GPU max_memory={0:"16GiB", 1:"16GiB"} ) ``` #### 五、流式响应实现 ```python from transformers import TextStreamer streamer = TextStreamer(tokenizer) inputs = tokenizer("请解释量子计算", return_tensors="pt").to("cuda") model.generate(**inputs, streamer=streamer, max_new_tokens=500) ``` #### 六、部署验证 执行以下命令测试模型响应： ```bash python -c "from transformers import pipeline; pipe = pipeline('text-generation', model='Qwen2.5-Omni-7B'); print(pipe('你好，请作一首七言诗', max_length=50)[0]['generated_text'])" ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

码流怪侠

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值