最新开源：阿里开源QwQ-32B-Preview推理大模型！月之暗面Kimi开源大模型推理架构 Mooncake！阿里开源图像生成模型Qwen2VL-Flux！

已于 2024-12-02 15:50:14 修改
阅读量1.8k 收藏 16
点赞数 5
分类专栏： 开源大模型 多模态大模型 AI绘画 文章标签： 多模态大模型 开源大模型 AI图像生成 推理模型
于 2024-12-02 15:32:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012744245/article/details/144189481
版权
来源：HsuDan[最新开源：阿里巴巴开源推理模型 Marco-o1！智子引擎开源多模态MoE大模型 Awaker2.5-VL!]

1. 阿里发布首个开源推理大模型 QwQ-32B-Preview！自我思考、数学能力媲美OpenAI o1

11月28日，阿里Qwen团队发布首个开源推理大模型 QwQ-32B-Preview！

QwQ（Qwenwith Questions）是通义千问Qwen系列的最新实验性研究模型，旨在提升 AI 的推理能力。QwQ-32B-Preview 在评测数据中表现出色，尤其在数学和编程领域的深度推理任务上，展现出研究生级别的能力。

图片

  • GPQA: 测试模型在常识问答和通用知识理解上的能力。

  • AIME: 检验模型对高难度数学竞赛题目的解题能力。

  • MATH-500: 测评模型在广泛数学领域中解决复杂问题的表现。

  • LiveCodeBench: 测试模型生成、调试和实现代码的编程能力。

具体地，QwQ-32B-Preview 在各项基准测试中的表现如下：

图片

  • 在考察科学问题解决能力的 GPQA 评测集上，QwQ 获得 65.2% 的准确率，具备研究生水平的科学推理能力；

  • 在涵盖综合数学主题的 AIME 评测中，QwQ 以 50% 的胜率证明其拥有解决数学问题的丰富技能；

  • 在全面考察数学解题能力的 MATH-500 评测中，QwQ 斩获 90.6% 的高分，一举超越OpenAI o1-preview 和 o1-mini，体现了在各类数学主题上的全面理解；

  • 在评估高难度代码生成的 LiveCodeBench 评测中，QwQ 答对一半的题，在编程竞赛题场景中也有出色表现。

值得注意的是，QwQ-32B-Preview 是一个模型参数仅有 32B 的小模型！更轻量化的模型意味着更高的计算资源效率、更快的推理速度，以及更低的硬件需求。

作为预览版本，该模型展示了出色的分析能力，但也存在一些重要的局限性，如语言混合、递归推理循环以及安全和伦理方面的考虑。该模型在数学和编程方面表现优异，但在常识推理和语言理解方面仍有改进空间。

图片

目前，QwQ-32B-Preview 已在魔搭社区和 HuggingFace 等平台上开源。

  • QwQ模型地址：https://huggingface.co/Qwen/QwQ-32B-Preview

  • QwQ体验地址：https://huggingface.co/spaces/Qwen/QwQ-32B-preview

  • QwQ模型链接：https://modelscope.cn/models/Qwen/QwQ-32B-Preview

  • QwQ体验链接：https://modelscope.cn/studios/Qwen/QwQ-32B-preview

  • QwQ中文博客：https://qwenlm.github.io/zh/blog/qwq-32b-preview/

2. 月之暗面Kimi联合清华大学等开源共建大模型推理架构 Mooncake

11月28日，月之暗面 Kimi 联合清华大学等机构，开源了大模型推理架构 Mooncake。

在这篇名为《Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving》的论文中，作者详细介绍了 Mooncake 这种系统架构。

图片

图片

  • 论文链接：https://arxiv.org/pdf/2407.00079

  • 项目地址：https://github.com/kvcache-ai/Mooncake

Mooncake 是由 Moonshot AI 提出的长文高效推理架构，它采用了 KVCache 为中心的分离架构，将预填充和解码集群分开，并利用 GPU 集群中未充分利用的 CPU、DRAM 和 SSD 资源实现分离的 KVCache。

此次更新，开源了 Mooncake 的核心组件 Transfer Engine，还提供了 Transfer Engine 的两个演示：P2P Store 和 vLLM 集成。

图片

图：Mooncake 推理系统架构图

Mooncake 的核心是以 KVCache 为中心的调度程序，在最大化整体有效吞吐量和满足与延迟相关的服务级目标(SLO)之间取得平衡。

Mooncake 不仅提升了 Kimi 的用户体验和降低了成本，还为处理长文本和高并发需求提供了有效的解决方案，承载 Kimi 线上 80% 流量。

3. 阿里开源图像生成模型 Qwen2VL-Flux，支持图像融合和风格转移等

Qwen2VL-Flux 是一款先进的多模态图像生成模型，结合了 FLUX 框架和 Qwen2VL 的视觉语言理解能力。该模型能够根据文本提示和视觉参考生成高质量图像，提供卓越的多模态理解和控制能力。

Qwen2VL-Flux 不仅能够根据用户输入的图像生成多幅相似图像，还支持文本引导的图像混合和图像引导的图像融合。用户可以通过简单的操作实现角色合体、场景转换以及细致的风格迁移。

图片

  • 代码链接：https://github.com/erwold/qwen2vl-flux

  • 模型链接：https://huggingface.co/Djrango/Qwen2vl-Flux

图片

图：Qwen2vl-Flux 框架

Qwen2VL-Flux 有以下特征：

  • 增强视觉语言理解：利用 Qwen2VL 实现卓越的多模式理解；

  • 多种生成模式：支持变异、img2img、修复和控制网引导生成；

  • 结构控制：集成深度估计和线路检测，实现精确的结构引导；

  • 灵活的注意力机制：通过空间注意力控制支持焦点生成；

  • 高分辨率输出：支持高达 1536x1024 的各种宽高比。

图片

图：「图像变化」在保持原始图像本质的同时，创造出多样化的变化。

图片

图：「图像混合」通过智能风格转换无缝融合多幅图像

图片

图：「文本引导的图像混合」通过文本提示控制图像生成

图片

图：「基于网格的风格迁移」应用网格注意力的细粒度样式控制

参考：
https://qwenlm.github.io/zh/blog/qwq-32b-preview/

欢迎各位关注我的个人微信公众号：HsuDan，我将分享更多自己的学习心得、避坑总结、面试经验、AI最新技术资讯。

【国产开源大模型】使用 Qwen/QwQ-32B-preview 推导麦克斯韦方程组、相对论公式
AI天才研究院
12-02 941
∇⋅Eρε0∇⋅Eε0​ρ​（高斯定律）∇⋅B0∇⋅B0（高斯磁定律）∇×E−∂B∂t∇×E−∂t∂B​（法拉第定律）∇×Bμ0Jμ0ε0∂E∂t∇×Bμ0​Jμ0​ε0​∂t∂E​（安培-麦克斯韦定律）这些方程共同描述了电场和磁场的相互作用，是经典电磁学的基石。广义相对论的场方程是通过结合等效原理、最小作用量原理和张量分析得出的。
阿里开源最新推理模型：QwQ-32B，媲美DeepSeek-R1
这里汇聚了前沿的技术分享与实用的开发技巧，带你探索从创意到企业的技术创业之路。
03-21 97
QwQ-32B的开源标志着阿里在AI推理技术上的又一重要突破。凭借其独特的训练方法和强大的Agent相关能力，QwQ-32B为各行各业提供了前所未有的智能化解决方案。无论你是开发者、研究人员，还是对AI技术感兴趣的爱好者，都可以通过上述链接深入了解并体验这一前沿技术的魅力。立即行动，开启你的智能之旅！
深度剖析QwQ模型：技术、应用与前景展望
daqsdfas的博客
03-08 1936
QwQ 模型是一种基于深度学习的先进推理模型，旨在通过对大量数据的学习和分析，实现对复杂问题的准确推理和解答。与传统的人工智能模型不同，QwQ 模型不仅能够处理简单的任务，还具备强大的逻辑推理和思维链展示能力，能够像人类一样逐步分析问题，展示推理过程。该模型的核心概念之一是思维链（Chain of Thought, CoT）。思维链是指模型在解决问题时所遵循的逻辑步骤和思考过程。QwQ 模型通过创新的架构设计和训练方法，能够将思维链完整地展示出来，使得用户可以清晰地了解模型是如何得出结论的。
QwQ模型介绍与性能实测！1/10硬件成本，性能比肩DeepSeek R1模型
fufan_LLM的博客
03-06 2085
而现在，时隔3个月，QWQ模型再度回归，和此前Preview模型不同，现在的QWQ-32B正式版模型能力暴涨，在数学、编程等推理领域的能力甚至和671B的DeepSeek R1模型相当，并在强化学习的后训练阶段，原创性的提出了多段强化学习训练法，并在每个RL训练阶段，单独专注于提升模型的某一个方面的能力，如第一个阶段训练模型代码能力、第二个阶段训练模型编程能力等。QWQ系列模型，是阿里千问模型中的推理类大模型，早在去年12月就发布了QWQ-32B-Preview预览模型，也是当时业内最早开源的推理大模型。
对标OpenAI的o1推理模型，通义千问的QwQ的基本原理，以及使用效果与应用场景，给出代码实现过程
微学AI的博客
12-06 3725
深度自省能力：QwQ展现出了令人瞩目的深度自省能力。在面对复杂的推理问题时，它能够主动质疑自身的假设，进行深思熟虑的自我对话，并仔细审视推理过程的每一步。这种能力使得QwQ在解决复杂问题时表现得更加灵活和智能。独特的推理机制：QwQ采用了独特的推理机制，使其能够在解决复杂问题时展现出卓越的表现。特别是在处理经典智力题“猜牌问题”时，QwQ能够像一个擅长思考的人类一样，揣摩“这句话有点 tricky”，并反思“等一下，也许我需要更仔细地思考”。
qwq（thinking）阿里的思考模型悄悄来了
2301_79340423的博客
02-25 396
等其他的思考模型还是短了一点，可能还是测试吧，等后面的正式推出的时候会不会优化一下。但是相对于其他的模型我实际使用起来感觉在情感和代码方面还是比较有有意思的，大家也去试试吧…,因为参数是最大的，相对其他的非思考模型里面是几乎最强的，在代码和数学问题的使用上面还是比较令人满意的。进行使用，现在还是测试，个人感觉思考链还是相对于。,今天再次上号的时候惊奇发现。深度思考模型悄悄上线公测了！
阿里-Qwen-QwQ-Max-Preview深度思考模型最新开源
晓的博客
02-27 654
QwQ-Max-Preview是阿里巴巴集团于2025年2月25日正式发布的基于通义千问Qwen2.5-Max的深度推理模型。性能表现数学能力：在MATH-500评测中，数学解题准确率达90.6%，展现出对各类数学主题的全面理解和强大的解题能力。编程能力：在LiveCodeBench评测中，编程竞赛题正确率突破50%，在真实编程场景中的代码生成和问题解决能力表现出色。推理能力：在GPQA评测中准确率达65.2%，科学推理能力达到研究生水平。在全球权威基准测试中，整体表现已超越OpenAI o1-previe
【QwQ-32B-Preview】阿里通义QwQ登场MATH测试超OpenAI o1,开源AI推理新王,为数不多可以与OpenAI o1媲美的模型之一
m0_54136051的博客
11-28 1392
阿里通义千问今天（11 月 28 日）发布《QwQ: 思忖未知之界》博文，推出了 QwQ-32B-Preview 实验性研究模型，在数学和编程领域，尤其在需要深度推理的复杂问题上，具备卓越的 AI 推理能力。它是少数能与 OpenAI 的 o1 匹敌的模型之一，并且是第一个能以宽松许可证下载的模型。QwQ-32B-Preview 在 Apache 2.0 许可证下“公开”可用，这意味着它可以用于商业应用。使用该链接注册可以获得2000万tokens体验QwQ-32B-Preview。
阿里通义千问QwQ-32B：小参数大能量，重新定义推理模型新范式
xiezhipu的博客
03-06 670
在人工智能领域，模型参数规模与性能的正相关关系曾被视为行业铁律。然而，阿里巴巴通义千问团队于2025年3月6日发布的QwQ-32B模型，以320亿参数规模实现了与6710亿参数模型DeepSeek-R1（370亿激活参数）相媲美的推理能力，彻底打破了这一固有认知。这款通过大规模强化学习（RL）技术优化的模型，不仅在数学推理、代码生成等专业领域表现卓越，更在通用能力评测中实现了多项超越，标志着AI技术从"大力出奇迹"向"精巧出智慧"的重要转折。
【大模型篇】推理模型大作战（QwQ-32B vs DeepSeek-R1）
大F子的智能小课
03-06 1185
当我让QwQ-32B vs DeepSeek-R1 写一封未来自己的信大家更喜欢哪种风格？大规模强化学习（RL）潜力无限，能超越传统预训练和后训练方法提升模型性能。近期研究表明，强化学习可显著提高模型推理能力。例如，DeepSeek R1 整合冷启动数据与多阶段训练，实现先进性能，可进行深度思考与复杂推理。
本地部署大模型？看这篇就够了，Ollama 部署和实战
2401_85373898的博客
11-13 2127
如果要使用的模型不在 Ollama 模型库怎么办？至此，我们一起走完了 Ollama 的部署和实战流程。在我看来，Ollama 也许是目前最便捷的大模型部署和使用工具，对小白非常友好。简单的命令行操作，用户即可快速启动和管理模型，极大降低了技术门槛，用户可以专注于模型的应用，而无需关注底层技术细节。此外，Ollama 的离线运行也为数据安全提供了保障。期待大家在使用 Ollama 的过程中，发现更多有趣的 AI 应用场景。让我们一起推动大模型技术的应用落地，探索更广阔的可能性！
Qwen 发布 QWQ32B：320 亿参数的推理模型
Everly_的博客
11-30 2678
# Qwen 发布了一款新的推理模型 QWQ32B，旨在提升 AI 推理能力。Qwen 发布了 QWQ32B 模型，这是一款新的推理模型，拥有 320 亿参数。该模型在某些基准测试中表现出色，但也存在语言混用和循环推理等局限性。该模型可以本地运行，并已开放权重和演示。QWQ32B 模型的参数数量：QWQ32B 是一个 320 亿参数的模型，可以本地运行，需要较好的 GPU，如 4090。模型的开发背景：QWQ32B 是由 Qwen 团队开发的实验性研究模型，旨在提升 AI 推理能力。
手把手教你部署QWQ模型，开启高效推理之旅
zhangzhentiyes的博客
03-12 1340
在大语言模型蓬勃发展的当下，掌握模型的本地部署与调用技术，对于开发者深入探索模型性能、实现个性化应用至关重要。本文将以QWQ-32B模型为例，详细阐述其部署与调用的全流程，为大家提供一份全面且具有实操性的技术指南。
该来的还是会来，Qwen团队开源推理大模型-QwQ！！！
2401_84204413的博客
11-28 1035
qwen，你依然是你，爱了爱了，我今年的kpi又有保证了，狗头保命。
大厂员工：从差点被裁到逆势晋升，大佬教会了我…
2401_85375186的博客
08-30 1628
今天给大家分享一个小W同学的故事。我之前是一名运维工程师。一方面我需要跟进部门内的项目进度，像应用版本发版支持、环境搭建部署、数据维护处理等等；另一方面也需要负责业务需求部门的需求响应处理。工作几年后，不但压力越来越大，工作时候常常会觉得力不从心，又对未来发展感到很迷茫。因为很多工作做久了，其实都是在重复，甚至都谈不上用经验解决问题，而是像肌肉记忆一样。但这种**“顺手”没有挑战性和成长性**，它只会不断出现，用一样的办法解决就可以了。
Free QWQ - 世界首个免费无限制分布式 QwQ API
猫敷雪
03-14 627
一句话简介：基于 QwQ 32B 大语言模型的完全免费、无限制、无需注册登录的分布式 AI 算力平台。Free QWQ 是世界上第一个完全免费、无限制的分布式 AI 算力平台，基于阿里最新开源的 QwQ 32B 大语言模型提供强大的 AI 服务。通过创新的分布式算力架构，整合了来自全球的闲置显卡资源，包括个人电脑和网吧的 3090、4080、4090 等高性能显卡，构建了一个庞大的分布式计算网络。
阿里发布推理模型QwQ-32B-Preview，性能超OpenAI o1-preview
bagell的博客
11-29 2562
今天，阿里巴巴的 Qwen 团队发布了其最新的推理模型 QwQ-32B-Preview。该模型拥有 325 亿参数，并能处理约 32,000 个 Token 的提示词。值得注意的是，它是首个可以在宽松许可下下载使用的模型。试用链接：https://huggingface.co/spaces/Qwen/QwQ-32B-preview根据官网介绍，QwQ-32B-Preview 是为数不多的可以与 OpenAI 的 o1 相媲美的模型之一。
大型语言模型技术对比：阿里Qwen qwq、DeepSeek R1、OpenAI o3与Grok 3
weixin_43940494的博客
02-27 2971
本文对阿里Qwen QWQ、DeepSeek R1、OpenAI o3和Grok 3四款大型语言模型进行了全面对比，分析了它们的架构、性能、应用场景、开源状态及独特功能，帮助技术研究人员、开发者和企业用户根据需求（如推理能力、多模态处理或实时数据应用）选择最适合的模型。
xinference如何通过launch命令直接启动QwQ-32B模型？
最新发布
03-29
<think>嗯，用户问的是如何通过Xinference的launch命令直接启动QwQ-32B模型。首先，我需要确认Xinference是否支持这个模型。因为Xinference支持的模型通常是Hugging Face上的开源模型，或者社区中常用的模型。QwQ-32B可能是一个特定的模型，可能用户有自定义的配置或者是从某个来源获取的。需要先检查官方文档或者模型库是否有这个模型的名称。 接下来，launch命令的用法是关键。用户可能需要知道正确的模型名称参数，比如--model-name，以及可能的其他参数如模型格式、大小等。如果QwQ-32B属于大模型，可能需要指定--size-in-billions参数为32，但不确定Xinference是否接受这样的参数。或者，是否有其他的参数需要配置，比如--model-format，是否支持不同的格式如ggml或pytorch。 另外，模型是否已经下载到本地，或者是否需要从远程拉取。如果模型不在本地缓存中，Xinference可能需要联网下载，但需要正确的模型标识符。可能用户需要确认模型在Hugging Face上的名称，或者是否有自定义的模型路径。 还有，用户可能遇到的一些常见问题，比如模型名称拼写错误、参数不正确、内存不足等。需要提醒用户检查这些方面，并提供查看日志的方法来进一步排查错误。同时，如果Xinference不支持该模型，可能需要自定义模型配置，或者使用其他方式加载。 总结步骤的话，应该是先确定模型是否受支持，然后正确使用launch命令的参数，处理可能的依赖和资源问题，最后验证模型是否加载成功。需要给出具体的命令示例，并解释每个参数的作用，以及可能的错误处理办法。</think>以下是使用Xinference通过`launch`命令直接启动QwQ-32B模型的详细步骤和注意事项： --- ### **步骤1：确认模型支持性** 1. **检查Xinference支持的模型列表** 在Xinference官方文档或支持的Hugging Face模型库中，确认`QwQ-32B`是否已被集成。 - 若未明确列出，可能是社区自定义模型，需自行验证兼容性。 2. **模型命名规范** Xinference通过`--model-name`参数匹配模型标识符。 - 例如：若模型在Hugging Face的ID为`QwQ/QwQ-32B`，则参数应为`--model-name QwQ/QwQ-32B`。 --- ### **步骤2：基础启动命令** ```bash xinference launch \ --model-name "QwQ-32B" \ --size-in-billions 32 \ # 指定模型规模（32B） --model-format "pytorch" \ # 格式根据实际选择（如pytorch, ggml等） --n-gpu 2 \ # 指定GPU数量（按需调整） --endpoint "http://0.0.0.0:9997" # 服务监听地址 ``` #### **参数详解** | 参数 | 说明 | 示例值 | |------|------|--------| | `--model-name` | 模型唯一标识符（Hugging Face路径或本地名称） | `QwQ/QwQ-32B` | | `--size-in-billions` | 模型参数量级（32B需设为32） | `32` | | `--model-format` | 模型文件格式（需与下载的权重匹配） | `pytorch`, `ggml`, `awq`等 | | `--n-gpu` | 使用的GPU数量（0表示仅CPU） | `2` | | `--endpoint` | 服务监听地址 | `http://0.0.0.0:9997` | --- ### **步骤3：处理常见问题** #### **场景1：模型未找到** - **错误提示** `Model "QwQ-32B" not found in Xinference registry.` - **解决方案** 1. 确认模型名称与Hugging Face完全一致（注意大小写）。 2. 若为自定义模型，需通过`--model-path`指定本地路径： ```bash xinference launch --model-name "custom-qwq" --model-path "/path/to/QwQ-32B" ``` #### **场景2：显存不足** - **错误提示** `CUDA out of memory` - **解决方案** 1. 减少`--n-gpu`数量或使用`--quantization`量化： ```bash xinference launch ... --quantization "4-bit" # 支持4-bit、8-bit等 ``` 2. 增加GPU显存（如使用A100 80GB）。 --- ### **步骤4：验证模型加载** 1. **查看已加载模型** ```bash xinference list ``` ```text UID TYPE NAME SIZE FORMAT DEVICE STATUS uid-123456 LLM QwQ-32B 32B pytorch GPU:2 Running ``` 2. **API调用测试** ```bash curl -X POST http://127.0.0.1:9997/v1/completions \ -H "Content-Type: application/json" \ -d '{ "model": "QwQ-32B", "prompt": "你好", "max_tokens": 50 }' ``` --- ### **高级配置** #### **自定义超参数** 通过`--generate-config`调整生成策略： ```bash xinference launch ... \ --generate-config '{"temperature": 0.7, "top_p": 0.9}' ``` #### **分布式部署** 多节点启动时指定`--rank`和`--world-size`： ```bash # 节点1（主节点） xinference launch ... --endpoint http://192.168.1.100:9997 --rank 0 --world-size 2 # 节点2 xinference launch ... --endpoint http://192.168.1.101:9997 --rank 1 --world-size 2 ``` --- ### **总结** 1. **核心命令**：确保`--model-name`正确匹配模型标识符，并指定`--size-in-billions 32`。 2. **资源适配**：根据硬件调整`--n-gpu`和量化参数。 3. **验证加载**：通过`xinference list`和API调用确认模型可用性。 若仍失败，可检查： - 模型文件完整性（下载中断可能导致权重损坏） - Xinference版本是否支持32B模型（升级至最新版） - 日志文件`~/.xinference/logs/xinference.log`中的错误详情
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值