刚刚,“源神” DeepSeek 又开源了!
DeepSeek 在 Hugging Face 开源了一个名为 DeepSeek-Prover-V2-671B 的新模型,是一款基于 671B 参数的 MoE 大模型,结合 FP8 量化、高维嵌入、长上下文与专家选择优化,专为数理逻辑与高复杂度任务设计。
🔥作为一站式 AIGC 云服务平台,PPIO派欧云在第一时间上线了 DeepSeek-Prover-V2-671B !
PPIO 平台 DeepSeek-Prover-V2-671B 模型的基本信息:
-
上下文窗口:160k,最大输出 token 数:160k
本文将从两部分介绍:
-
DeepSeek-Prover-V2-671B 模型的基本技术信息以及历史背景
-
如何在 PPIO 使用 DeepSeek-Prover-V2-671B ?
DeepSeek-Prover-V2-671B 模型的基本信息
根据官方提供的配置及已知信息,可总结其技术特色如下:
🧠 1. 超大规模:671B参数的稀疏MoE模型
-
使用稀疏专家结构(Mixture-of-Experts),token 被动态路由到多个子模型(专家),总参数约 671B(billion),每次推理时只激活 8 个专家,可提升特定任务表现,如数学和逻辑推理,推理成本更低。
-
专家中间层维度为 2048
-
使用了 top-k 路由机制 + sigmoid 评分函数
-
所有 token 共享 1 个专家(
n_shared_experts=1
),增强鲁棒性 -
路由概率标准化、topk 分组策略进一步提升分配效率和性能
🧪 2. 深层架构 + 高维特征建模
-
61层 Transformer block
-
每层 128 个 attention heads
-
每个 token 的表示维度高达 7168
-
高维表达力 + 深度架构,使模型更擅长处理复杂推理任务
🔗 3. 超长上下文:支持长达 163,840 个 token
-
使用先进的 YaRN RoPE位置编码机制
-
支持最大 163,840 token(适合处理超长文本、证明链、多轮推理)
-
动态 rope 缩放(
beta_fast
,beta_slow
,factor
等参数)提高长文本推理稳定性
-
⚡ 4. 高效推理优化:FP8量化 + LoRA适配
-
使用 FP8 (e4m3 格式) 动态量化进行高效推理
-
支持块级量化(128x128),降低显存使用
-
同时集成了 LoRA(低秩适配)机制
-
q_lora_rank
: 1536;kv_lora_rank
: 512 -
为多任务或垂类微调提供轻量化调参方式
-
🧰 5. 兼容 HuggingFace Transformers
-
完整集成 HuggingFace 自动化接口(
AutoModel
,AutoModelForCausalLM
等) -
支持 cache、可插拔的 tokenizer、支持 inference、微调与服务化部署
📌 6. 应用场景方向
-
自动数学证明
-
代码生成与修复
-
多步骤复杂逻辑推理任务
-
长文档分析(论文、合约)
-
学术/研究场景下的 AI 助手
如何在 PPIO 使用 DeepSeek-Prover-V2-671B ?
1、直接在模型广场体验(无须代码)
到PPIO派欧云官网注册后,找到模型广场下的 Qwen3 模型直接进行体验,支持联网搜索与上传文档。快速入口:https://ppinfra.com/llm/deepseek-deepseek-prover-v2-671b
2、在第三方平台上集成 DeepSeek-Prover-V2-671B
除了在自己开发的应用程序中集成 API ,你也可以直接通过第三方应用来调用 PPIO API 的能力。目前 PPIO 支持在 20+ 主流平台中调用平台模型,具体包括:
通用对话客户端:Chatbox、LobeChat、Nextchat、ChatHub、CherryStudio
通用AI助手:OpenManus、UI-TARS
代码开发工具:Cursor、CLINE
开发/ API 平台:Dify、OneAPI、RAGFlow、FastGPT
生产力套件集成:Word、WPS Office AI,这些是办公软件集成AI功能。
智能翻译工具:沉浸式翻译、欧路词典、流畅阅读、沉浸式导读。
知识管理工具:思源笔记、Obsidian、AnythingLLM
3、在自己开发的应用程序中集成 API (针对开发人员)
通过 PPIO 的 API 接口,将 DeepSeek-Prover-V2-671B 无缝集成到你的应用程序、工作流或聊天机器人。PPIO 提供多语言 SDK(cURL、Python、JavaScript 等)。
如果是单轮或多轮对话应用、轻量集成、普通 chatbot 项目,可直接调用 API。以 Python 为例:
from openai import OpenAI
base_url = "https://api.ppinfra.com/v3/openai"
api_key = "<您的 API Key>"
model = "deepseek/deepseek-prover-v2-671b"
client = OpenAI(
base_url=base_url,
api_key=api_key,
)
stream = True # or False
max_tokens = 1000
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
extra_body={
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
主要特点:
-
OpenAI 兼容接口:使用
/v3/openai
统一接口,兼容openai.ChatCompletion
调用方式。 -
无需部署模型:无需管理模型权重或基础设施,后端完全托管。
-
输出方式:支持流式和一次性返回
如果是构建复杂的多代理工作流,比如使用 OpenAI Agents SDK,可以按照以下方式操作:
(1)前置条件:获取 API Base URL 以及 PPIO LLM API key;
(2)设置 Python 环境并安装 Agents SDK,输入以下代码即可完成操作:
python -m venv env
source env/bin/activate
pip install openai-agents==0.0.7
以输出功能为例。运行前,请确保已设置 PPIO API KEY 和 DeepSeek-Prover-V2-671B 环境变量。
import os
from openai import AsyncOpenAI
from agents import (
Agent,
Runner,
set_default_openai_api,
set_default_openai_client,
set_tracing_disabled,
)
BASE_URL = "https://api.ppinfra.com/v3/openai"
API_KEY = "在此处粘贴 PPIO 官网的 API Key" #此处需修改
MODEL_NAME = "在此输入模型名称" #此处需修改
# 基于PPIO不支持responses API,因此我们使用chat completions API作为示例
set_default_openai_api("chat_completions")
set_default_openai_client(AsyncOpenAI(base_url=BASE_URL, api_key=API_KEY))
# 在此示例中禁用追踪# 如需使用自定义追踪处理器,请参考:https://openai.github.io/openai-agents-python/tracing/#external-tracing-processors-list
set_tracing_disabled(disabled=True)
agent = Agent(name="Assistant",
instructions="You are a helpful assistant", model=MODEL_NAME)
result = Runner.run_sync(
agent, "Write a haiku about recursion in programming.")
print(result.final_output)
#输出示例:
# Code within the code,
# Functions calling themselves,
# Infinite loop's dance.