阿里震撼发布Qwen2.5“全能套装”——打造史上最大规模开源盛宴

最新推荐文章于 2024-09-26 14:39:40 发布

Johntill

最新推荐文章于 2024-09-26 14:39:40 发布

阅读量1.2k

点赞数 30

分类专栏： AI前沿 LLM 文章标签：人工智能

本文链接：https://blog.csdn.net/Johntill/article/details/142380628

版权

2 篇文章 0 订阅

订阅专栏

1 篇文章 0 订阅

订阅专栏

在 Qwen2 发布后的过去三个月里，许多开发者基于 Qwen2 语言模型构建了新的模型。9月19日阿里发布了 Qwen 家族的最新成员：Qwen2.5。

在这里插入图片描述

最新发布包括了语言模型 Qwen2.5，以及专门针对编程的 Qwen2.5-Coder 和数学的 Qwen2.5-Math 模型。所有开放权重的模型都是稠密的、decoder-only的语言模型，提供多种不同规模的版本，包括：

除了3B和72B的版本外，所有的开源模型都采用了 Apache 2.0 许可证。

vLLM 工具调用：Qwen2.5 支持 vLLM 内置的工具调用功能，需要 vllm>=0.6。启用此功能的命令为 vllm serve Qwen/Qwen2.5-7B-Instruct --enable-auto-tool-choice --tool-call-parser hermes，之后可像使用 GPT 的工具调用一样操作。
Ollama 工具调用：Qwen2.5 亦支持 Ollama 的工具调用功能，可通过启动 Ollama 的 OpenAI 兼容服务并按使用 GPT 的方式来调用工具。
Transformers 工具调用：Qwen2.5 的聊天模板中包含一个工具调用模板，允许用户利用 Hugging Face transformers 的工具调用支持。

Hermes 格式：vLLM、Ollama 和 Transformers 的工具调用支持都采用受 Nous’ Hermes 格式启发的工具调用模板。
向后兼容性：尽管此前 Qwen-Agent 使用的是 Qwen2 自有的工具调用模板，Qwen2.5 仍然保持了与旧版 Qwen2 模板及 Qwen-Agent 的兼容性。

Finetuning: ChatLearn, Llama-Factory, Axolotl, Firefly, Swift, XTuner, Unsloth, Liger Kernel
Quantization: AutoGPTQ, AutoAWQ, Neural Compressor
Deployment: vLLM, SGL, SkyPilot, TensorRT-LLM, OpenVino, TGI
API Platforms: Together, Fireworks, OpenRouter
Local Run: MLX, Llama.cpp, Ollama, LM Studio, Jan
Agent and RAG Frameworks: Dify, LlamaIndex, CrewAI
Evaluation: LMSys, OpenCompass, Open LLM Leaderboard
Model Training: Arcee AI, Sailor, Dolphin, Openbuddy