LLMs/MLMs之Qwen-3:Qwen3的简介、安装和使用方法、案例应用之详细攻略
目录
LLMs/MLMs之Qwen-3:《Qwen3: Think Deeper, Act Faster》的翻译与解读
LLMs/MLMs之Qwen-3:Qwen3的简介、安装和使用方法、案例应用之详细攻略
相关文章
LLMs/MLMs之Qwen-3:《Qwen3: Think Deeper, Act Faster》的翻译与解读
LLMs/MLMs之Qwen-3:《Qwen3: Think Deeper, Act Faster》的翻译与解读-CSDN博客
LLMs/MLMs之Qwen-3:Qwen3的简介、安装和使用方法、案例应用之详细攻略
LLMs/MLMs之Qwen-3:Qwen3的简介、安装和使用方法、案例应用之详细攻略-CSDN博客
Qwen3的简介
2025年4月29日发布,Qwen3是阿里Qwen团队开发的一系列大型语言模型,是继QwQ和Qwen2.5之后最新的成果。该项目已在GitHub上开源,提供多种尺寸的密集型和混合专家型(MoE)模型,包括0.6B、1.7B、4B、8B、14B、32B和30B-A3B、235B-A22B等。
Qwen是阿里巴巴集团Qwen团队研发的大语言模型和大型多模态模型系列。无论是语言模型还是多模态模型,均在大规模多语言和多模态数据上进行预训练,并通过高质量数据进行后期微调以贴近人类偏好。Qwen具备自然语言理解、文本生成、视觉理解、音频理解、工具使用、角色扮演、作为AI Agent进行互动等多种能力。
Qwen3 提供了丰富的功能和易于使用的接口,为开发者提供了强大的大型语言模型工具。 开发者可以根据自身需求选择合适的推理框架和部署方式,并充分发挥Qwen3的潜力。
官方文章:Qwen3: Think Deeper, Act Faster | Qwen
GitHub地址:https://github.com/QwenLM/Qwen3
0、Qwen系列迭代历史
- 2025.04.29:我们发布了 Qwen3 系列。更多详情,请查看我们的博客!
- 2024.09.19:我们发布了 Qwen2.5 系列。此次新增了 3B、14B 和 32B 三个型号,提供更多选择。更多详情,敬请关注我们的博客!
- 2024.06.06:我们发布了 Qwen2 系列。请查看我们的博客!
- 2024.03.28:我们发布了 Qwen 的第一个 MoE 模型:Qwen1.5-MoE-A2.7B!目前,只有 HF Transformer 和 vLLM 支持该模型。我们将很快添加对 llama.cpp、mlx-lm 等的支持。更多信息,请查看我们的博客!
- 2024.02.05:我们发布了Qwen1.5系列。
1、Qwen3 特点
>> 多种模型尺寸:提供多种尺寸的密集型和混合专家型(MoE)模型,以满足不同需求和资源限制。
>> 思维模式切换:能够在“思考模式”(用于复杂的逻辑推理、数学和编码)和“非思考模式”(用于高效的通用聊天)之间无缝切换,以适应各种场景。
>> 强大的推理能力:在数学、代码生成和常识逻辑推理方面显著增强,超越了之前的QwQ(在思考模式下)和Qwen2.5指令模型(在非思考模式下)。
>> 优越的人类偏好对齐:在创意写作、角色扮演、多轮对话和指令遵循方面表现出色,提供更自然、引人入胜和沉浸式的对话体验。
>> 强大的Agent能力:能够在思考模式和非思考模式下精确集成外部工具,并在复杂的基于Agent的任务中取得领先的开源模型性能。
>> 多语言支持:支持100多种语言和方言,具有强大的多语言指令遵循和翻译能力。
>> 新的命名方案:与之前的版本不同,Qwen3的后训练模型不再使用“-Instruct”后缀。基础模型的名称以“-Base”结尾。
2、评估结果
更新中……
Qwen3的安装和使用方法
1、安装
1.1、模型下载
Hugging Face下载地址:https://huggingface.co/collections/Qwen/qwen3-67dd247413f0e2e4f653967f
ModelScope下载地址:https://modelscope.cn/collections/Qwen3-9743180bdc6b48
1.2、环境依赖
更新中……
2、使用方法
2.1、模型推理
Qwen3 支持多种推理框架和运行环境,包括Transformers、ModelScope、llama.cpp、Ollama、LMStudio、MLX-LM、SGLang、vLLM等。 以下是一些使用方法示例:
T1、使用Transformers
需要安装 transformers>=4.51.0。 代码示例如下:
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "Qwen/Qwen3-8B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="auto", device_map="auto")
prompt = "Give me a short introduction to large language models."
messages = [{"role": "user", "content": prompt}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True, enable_thinking=True) # enable_thinking 控制思考模式
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(**model_inputs, max_new_tokens=32768)
output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist()
print(tokenizer.decode(output_ids, skip_special_tokens=True))
enable_thinking 参数控制是否启用思考模式,也可以在系统消息或用户消息中使用/think 和 /nothink 指令来控制。
T2、使用ModelScope
建议中国大陆用户使用ModelScope,其Python API与Transformers类似。可以使用 modelscope download 命令下载模型检查点。
T3、使用llama.cpp
需要安装 llama.cpp>=b5092。 可以使用命令行工具或API服务器运行模型。 命令行示例:
./llama-cli -hf Qwen/Qwen3-8B-GGUF:Q8_0 --jinja --color -ngl 99 -fa -sm row --temp 0.6 --top-k 20 --top-p 0.95 --min-p 0 -c 40960 -n 32768 --no-context-shift
T4、使用Ollama
安装Ollama后,可以使用 ollama serve 启动服务,并使用 ollama run qwen3:8b 运行模型。 API地址默认为 http://localhost:11434/v1/。
T5、使用LMStudio
LMStudio 直接支持Qwen3的GGUF文件。
T6、使用MLX-LM (Apple Silicon)
mlx-lm>=0.24.0 支持Qwen3。 在HuggingFace Hub上查找以MLX结尾的模型。
2.2、模型微调
推荐使用训练框架,包括Axolotl、unsloth、Swift、Llama-Factory等,使用 SFT、DPO、GRPO 等微调模型。
2.3、工具使用
对于工具使用功能,建议您参考Qwen-Agent,它提供了这些 API 的包装器,以支持使用 MCP 的工具或函数调用。Qwen3 的工具使用也可以通过 SGLang、vLLM、Transformers、llama.cpp、Ollama 等进行。
相关地址:https://github.com/QwenLM/Qwen-Agent
3、模型部署
T1、SGLang
需要 sglang>=0.4.6.post1。 启动命令:python -m sglang.launch_server --model-path Qwen/Qwen3-8B --port 30000 --reasoning-parser qwen3
T2、vLLM
需要 vllm>=0.8.4。 启动命令:vllm serve Qwen/Qwen3-8B --port 8000 --enable-reasoning-parser --reasoning-parser deepseek_r1
T3、昇腾NPU
在昇腾NPU上部署:请访问Modelers并搜索Qwen3。
Qwen3的案例应用
Qwen3在创意写作、角色扮演、多轮对话、指令遵循、数学、代码生成、常识逻辑推理、以及与外部工具集成等方面的强大能力。 这些能力可以应用于各种场景,例如:
>> 聊天机器人:构建具有自然语言理解和生成能力的聊天机器人。
>> 代码生成:辅助程序员进行代码编写和调试。
>> 文本摘要:将长文本压缩成简洁的摘要。
>> 机器翻译:进行不同语言之间的翻译。
>> 问答系统:回答用户提出的问题。