首发!PPIO 上线 DeepSeek-Prover-V2-671B,无门槛教程来了

刚刚,“源神” DeepSeek 又开源了!

DeepSeek 在 Hugging Face 开源了一个名为 DeepSeek-Prover-V2-671B 的新模型,是一款基于 671B 参数的 MoE 大模型,结合 FP8 量化、高维嵌入、长上下文与专家选择优化,专为数理逻辑与高复杂度任务设计。

🔥作为一站式 AIGC 云服务平台,PPIO派欧云在第一时间上线了 DeepSeek-Prover-V2-671B !

PPIO 平台 DeepSeek-Prover-V2-671B 模型的基本信息

  • 上下文窗口:160k,最大输出 token 数:160k

本文将从两部分介绍:

  • DeepSeek-Prover-V2-671B 模型的基本技术信息以及历史背景

  • 如何在 PPIO 使用 DeepSeek-Prover-V2-671B ?

DeepSeek-Prover-V2-671B 模型的基本信息

根据官方提供的配置及已知信息,可总结其技术特色如下:

🧠 1. 超大规模:671B参数的稀疏MoE模型

  • 使用稀疏专家结构(Mixture-of-Experts),token 被动态路由到多个子模型(专家),总参数约 671B(billion),每次推理时只激活 8 个专家,可提升特定任务表现,如数学和逻辑推理,推理成本更低。

  • 专家中间层维度为 2048

  • 使用了 top-k 路由机制 + sigmoid 评分函数

  • 所有 token 共享 1 个专家(n_shared_experts=1),增强鲁棒性

  • 路由概率标准化、topk 分组策略进一步提升分配效率和性能

🧪 2. 深层架构 + 高维特征建模

  • 61层 Transformer block

  • 每层 128 个 attention heads

  • 每个 token 的表示维度高达 7168

  • 高维表达力 + 深度架构,使模型更擅长处理复杂推理任务

🔗 3. 超长上下文:支持长达 163,840 个 token

  • 使用先进的 YaRN RoPE位置编码机制

    • 支持最大 163,840 token(适合处理超长文本、证明链、多轮推理)

    • 动态 rope 缩放(beta_fast, beta_slow, factor 等参数)提高长文本推理稳定性

⚡ 4. 高效推理优化:FP8量化 + LoRA适配

  • 使用 FP8 (e4m3 格式) 动态量化进行高效推理

  • 支持块级量化(128x128),降低显存使用

  • 同时集成了 LoRA(低秩适配)机制

    • q_lora_rank: 1536;kv_lora_rank: 512

    • 为多任务或垂类微调提供轻量化调参方式

🧰 5. 兼容 HuggingFace Transformers

  • 完整集成 HuggingFace 自动化接口(AutoModel, AutoModelForCausalLM 等)

  • 支持 cache、可插拔的 tokenizer、支持 inference、微调与服务化部署

📌 6. 应用场景方向

  • 自动数学证明

  • 代码生成与修复

  • 多步骤复杂逻辑推理任务

  • 长文档分析(论文、合约)

  • 学术/研究场景下的 AI 助手

如何在 PPIO 使用 DeepSeek-Prover-V2-671B

1、直接在模型广场体验(无须代码)

到PPIO派欧云官网注册后,找到模型广场下的 Qwen3 模型直接进行体验,支持联网搜索与上传文档。快速入口:https://ppinfra.com/llm/deepseek-deepseek-prover-v2-671b

2、在第三方平台上集成 DeepSeek-Prover-V2-671B

除了在自己开发的应用程序中集成 API ,你也可以直接通过第三方应用来调用 PPIO API 的能力。目前 PPIO 支持在 20+ 主流平台中调用平台模型,具体包括:

通用对话客户端:Chatbox、LobeChat、Nextchat、ChatHub、CherryStudio

通用AI助手:OpenManus、UI-TARS

代码开发工具:Cursor、CLINE

开发/ API 平台:Dify、OneAPI、RAGFlow、FastGPT

生产力套件集成:Word、WPS Office AI,这些是办公软件集成AI功能。

智能翻译工具:沉浸式翻译、欧路词典、流畅阅读、沉浸式导读。

知识管理工具:思源笔记、Obsidian、AnythingLLM

3、在自己开发的应用程序中集成 API (针对开发人员)

通过 PPIO 的 API 接口,将 DeepSeek-Prover-V2-671B 无缝集成到你的应用程序、工作流或聊天机器人。PPIO 提供多语言 SDK(cURL、Python、JavaScript 等)。

如果是单轮或多轮对话应用、轻量集成、普通 chatbot 项目,可直接调用 API。以 Python 为例:

from openai import OpenAI

base_url = "https://api.ppinfra.com/v3/openai"
api_key = "<您的 API Key>"
model = "deepseek/deepseek-prover-v2-671b"

client = OpenAI(
    base_url=base_url,
    api_key=api_key,
)

stream = True # or False
max_tokens = 1000

response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    extra_body={
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)
  
  

主要特点:

  • OpenAI 兼容接口:使用 /v3/openai 统一接口,兼容 openai.ChatCompletion 调用方式。

  • 无需部署模型:无需管理模型权重或基础设施,后端完全托管。

  • 输出方式:支持流式和一次性返回

如果是构建复杂的多代理工作流,比如使用 OpenAI Agents SDK,可以按照以下方式操作:

(1)前置条件:获取 API Base URL 以及 PPIO LLM API key;

(2)设置 Python 环境并安装 Agents SDK,输入以下代码即可完成操作:

python -m venv env
source env/bin/activate
pip install openai-agents==0.0.7

 以输出功能为例。运行前,请确保已设置 PPIO API KEY 和 DeepSeek-Prover-V2-671B 环境变量。

import os
from openai import AsyncOpenAI
from agents import (
    Agent,
    Runner,
    set_default_openai_api,
    set_default_openai_client,
    set_tracing_disabled,
)

BASE_URL = "https://api.ppinfra.com/v3/openai"
API_KEY = "在此处粘贴 PPIO 官网的 API Key" #此处需修改
MODEL_NAME = "在此输入模型名称" #此处需修改

# 基于PPIO不支持responses API,因此我们使用chat completions API作为示例
set_default_openai_api("chat_completions")
set_default_openai_client(AsyncOpenAI(base_url=BASE_URL, api_key=API_KEY))

# 在此示例中禁用追踪# 如需使用自定义追踪处理器,请参考:https://openai.github.io/openai-agents-python/tracing/#external-tracing-processors-list
set_tracing_disabled(disabled=True)

agent = Agent(name="Assistant",
              instructions="You are a helpful assistant", model=MODEL_NAME)

result = Runner.run_sync(
    agent, "Write a haiku about recursion in programming.")
print(result.final_output)

#输出示例:
# Code within the code,
# Functions calling themselves,
# Infinite loop's dance.

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值