【DeepSeek-R1背后的技术】系列二：大模型知识蒸馏（Knowledge Distillation）

已于 2025-03-06 00:01:19 修改
阅读量2.9k 收藏 18
点赞数 69
分类专栏： 大模型 # DeepSeek-R1 文章标签： 语言模型 深度学习 人工智能 llama
于 2025-02-04 23:33:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_16020825/article/details/145401293
版权

【DeepSeek-R1背后的技术】系列博文：
第1篇：混合专家模型（MoE）
第2篇：大模型知识蒸馏（Knowledge Distillation）
第3篇：强化学习（Reinforcement Learning, RL）
第4篇：本地部署DeepSeek，断网也能畅聊！
第5篇：DeepSeek-R1微调指南
第6篇：思维链（CoT）
第7篇：冷启动
第8篇：位置编码介绍（绝对位置编码、RoPE、ALiBi、YaRN）
第9篇：MLA（Multi-Head Latent Attention，多头潜在注意力）
第10篇：PEFT（参数高效微调——Adapter、Prefix Tuning、LoRA）
第11篇：RAG原理介绍和本地部署（DeepSeek+RAGFlow构建个人知识库）
第12篇：分词算法Tokenizer（WordPiece，Byte-Pair Encoding (BPE)，Byte-level BPE(BBPE)）
第13篇：归一化方式介绍（BatchNorm, LayerNorm, Instance Norm 和 GroupNorm）
第14篇：MoE源码分析（腾讯Hunyuan大模型介绍）

目录

1 引言

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。而大模型压缩主要分为如下几类：：剪枝（Pruning）、知识蒸馏（Knowledge Distillation）、量化（Quantization）、低秩分解（Low-Rank Factorization）。

模型压缩方法分类：
模型压缩

技术概述图：
技术介绍

大规模语言模型（LLM）近年来在自然语言处理领域取得了巨大进步，使得人类对话和文本生成成为可能。然而，开源LLM模型由于参数规模较小，性能难以达到商业LLM的水平。知识蒸馏技术可以解决这一问题，它通过利用商业LLM的高性能，将其知识“蒸馏”（Knowledge Distillation，知识蒸馏，简称KD）到更小的开源模型中，从而实现高性能和低成本。

KD

模型蒸馏（Model Distillation）最初由Hinton等人于2015年在论文《Distilling the Knowledge in a Neural Network》提出，其核心思想是通过知识迁移的方式，将一个复杂的大模型（教师模型）的知识传授给一个相对简单的小模型（学生模型），简单概括就是利用教师模型的预测概率分布作为软标签对学生模型进行训练，从而在保持较高预测性能的同时，极大地降低了模型的复杂性和计算资源需求，实现模型的轻量化和高效化。

下面是模型蒸馏的要点：

  • 首先需要训练一个大的模型，这个大模型也称为 teacher 模型。
  • 利用 teacher 模型输出的概率分布训练小模型，小模型称为 student 模型。
  • 训练 student 模型时，包含两种 label，soft label 对应了 teacher 模型输出的概率分布，而 hard label 是原来的 one-hot label。
  • 模型蒸馏训练的小模型会学习到大模型的表现以及泛化能力。

2 操作步骤和公式说明

2.1 准备教师模型（Teacher Model）和学生模型（Student Model）

  • 教师模型：已经训练好的高性能大型模型（如BERT、GPT等）。
  • 学生模型：结构更简单的小型模型（如TinyBERT、DistilBERT等），参数量远小于教师模型。

公式说明：
假设教师模型的输出概率分布为 pt，学生模型的输出概率分布为 ps。

2.2 生成软标签（Soft Labels）

  • 操作：
    对训练数据中的每个样本 x，用教师模型计算其输出概率分布（软标签）。
    通过引入温度参数T 平滑概率分布，使类别间的关系更明显。

公式说明：
教师模型的软标签计算：

软标签

其中：

  • zt 是教师模型的原始输出（logits），
  • T是温度参数（通常 T > 1，如 T=3）。

高温T使概率分布更平滑，学生模型能学习到类别间的隐含关系（例如“猫”和“狗”的相似性），硬标签（One-hot编码）仅包含0/1信息，而软标签包含更多知识。

2.3 定义蒸馏损失函数

  • 操作：
    设计总损失函数，结合蒸馏损失（模仿教师模型）和任务损失（拟合真实标签）。

公式说明：

  1. 蒸馏损失（KL散度）：

公式2

其中
公式3

zs是学生模型的logits，乘以 T2 是为了平衡温度缩放对梯度的影响。

  1. 任务损失（交叉熵）：

公式4

其中
公式5

是学生模型的原始概率分布。

  1. 总损失：
    公式6

其中 α 是蒸馏损失的权重，取值范围通常是 [0.5, 0.9]。

蒸馏损失强制学生模仿教师的概率分布，任务损失确保学生模型不偏离真实标签，温度T和权重 α需调参以平衡两者。

2.4 训练学生模型

  • 操作：
    使用教师生成的软标签和真实标签联合训练学生模型，优化总损失 Ltotal。
    训练时需注意：
    • 温度参数T：训练阶段使用高温（如T=3），推理阶段恢复T=1。
    • 梯度更新：同时优化学生对教师分布和真实标签的拟合。

公式说明：
反向传播时，总损失的梯度计算为：
公式7

其中 θs是学生模型的参数。

注意：训练时高温 ( T ) 增强知识迁移，推理时恢复标准概率分布。

2.5 调整超参数

  • 温度T：
    • 较高的T（如3~10）增强软标签的平滑性，适合复杂任务。
    • 较低的T（如1~2）贴近原始分布，适合简单任务。
  • 损失权重 α：
    • 若教师模型质量高，可增大 α（如0.7~0.9）。
    • 若真实标签噪声小，可增大任务损失权重。

示例调参策略：

  • 两阶段训练：
    1. 第一阶段：高T和大α，专注于学习教师知识。
    2. 第二阶段：逐渐降低T和α，贴近真实任务。

2.6 评估与部署

  • 评估指标：
    • 学生模型在测试集上的准确率、F1值等任务指标。
    • 计算学生模型与教师模型的输出相似性（如KL散度）。
  • 部署：
    • 学生模型以T=1运行，直接输出原始概率分布 psraw。

核心思想：
通过教师模型的软标签（富含类别间关系）和学生模型的任务损失（保留真实标签信息），蒸馏实现了知识的迁移。

  • 温度T 是核心超参数，控制知识迁移的“清晰度”。
  • 两阶段训练（先学教师，再微调）是常见优化策略。

3 其他知识蒸馏技术

知识蒸馏技术分类

KD分类

前向KL和逆向KL对比

4 实践

以下是一个简单的模型蒸馏代码示例，使用一个预训练的ResNet-18模型作为教师模型，并使用一个简单的CNN模型作为学生模型。同时，将使用交叉熵损失函数和L2正则化项来优化学生模型的性能表现。

import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, models, transforms

# 定义教师模型和学生模型
teacher_model = models.resnet18(pretrained=True)
student_model = nn.Sequential(
    nn.Conv2d(3, 64, kernel_size=3, stride=1, padding=1),
    nn.ReLU(),
    nn.MaxPool2d(kernel_size=2, stride=2),
    nn.Conv2d(64, 128, kernel_size=3, stride=1, padding=1),
    nn.ReLU(),
    nn.MaxPool2d(kernel_size=2, stride=2),
    nn.Flatten(),
    nn.Linear(128 * 7 * 7, 10)
)

# 定义损失函数和优化器
criterion = nn.CrossEntropyLoss()
optimizer_teacher = optim.SGD(teacher_model.parameters(), lr=0.01, momentum=0.9)
optimizer_student = optim.Adam(student_model.parameters(), lr=0.001)

# 训练数据集
transform = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize((0.5,), (0.5,))
])
trainset = datasets.MNIST('../data', train=True, download=True, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=64, shuffle=True)

# 蒸馏过程
for epoch in range(10):
    running_loss_teacher = 0.0
    running_loss_student = 0.0
    
    for inputs, labels in trainloader:
        # 教师模型的前向传播
        outputs_teacher = teacher_model(inputs)
        loss_teacher = criterion(outputs_teacher, labels)
        running_loss_teacher += loss_teacher.item()
        
        # 学生模型的前向传播
        outputs_student = student_model(inputs)
        loss_student = criterion(outputs_student, labels) + 0.1 * torch.sum((outputs_teacher - outputs_student) ** 2)
        running_loss_student += loss_student.item()
        
        # 反向传播和参数更新
        optimizer_teacher.zero_grad()
        optimizer_student.zero_grad()
        loss_teacher.backward()
        optimizer_teacher.step()
        loss_student.backward()
        optimizer_student.step()
    
    print(f'Epoch {epoch+1}/10 \t Loss Teacher: {running_loss_teacher / len(trainloader)} \t Loss Student: {running_loss_student / len(trainloader)}')

在这个示例中：
（1）首先定义了教师模型和学生模型，并初始化了相应的损失函数和优化器；
（2）然后，加载了MNIST手写数字数据集，并对其进行了预处理；
（3）接下来，进入蒸馏过程：对于每个批次的数据，首先使用教师模型进行前向传播并计算损失函数值；然后使用学生模型进行前向传播并计算损失函数值（同时加入了L2正则化项以鼓励学生模型学习教师模型的输出）；
（4）最后，对损失函数值进行反向传播和参数更新：打印了每个批次的损失函数值以及每个epoch的平均损失函数值。
通过多次迭代训练后，我们可以得到一个性能较好且轻量化的学生模型。

参考文献

  1. A Survey on Knowledge Distillation of Large Language Models
  2. A Survey on Model Compression for Large Language Models
  3. BERT模型蒸馏指南（知乎）
DeepSeek-R1-技术文档
02-08
DeepSeek-R1-技术文档
混合专家模型 (MoE) 详解
Hugging Face
12-26 1892
随着 Mixtral 8x7B (announcement, model card) 的推出，一种称为混合专家模型 (Mixed Expert Models，简称 MoEs) 的 Transformer 模型在开源人工智能社区引起了广泛关注。在本篇博文中，我们将深入探讨 MoEs 的核心组件、训练方法，以及在推理过程中需要考量的各种因素。让我们开始吧！简短总结混合专家模型 (MoEs):与稠密模型...
Deepseek为什么选择蒸馏模型？一文彻底搞懂大模型蒸馏技术
weixin_58753619的博客
02-20 1866
我们看到，DeepSeek 提供了 7B、8B、14B、32B 等多个中小参数量模型，类似地，Qwen（1.5B、3B、7B、14B、32B）和 Llama（7B、13B、34B）也发布了多个中小参数量模型。然而，它们的生成方式有所不同：DeepSeek 是先训练一个超大参数模型，然后通过蒸馏的方式提供小参数量模型；而其他模型则是通过优化训练过程和模型架构来实现。那么，这两种方式有什么差异？DeepSeek 为什么选择蒸馏模型？本文将深入探讨以下几个问题：什么是大模型蒸馏？它诞生的背景是什么？
4000字！深度解析 DeepSeek 的蒸馏技术，收藏这一篇就够了！！
Gaga246的博客
02-04 5970
模型蒸馏（Knowledge Distillation）是一种将大型复杂模型（教师模型）的知识迁移到小型高效模型（学生模型）的技术。其核心目标是在保持模型性能的同时，显著降低模型的计算复杂度和存储需求，使其更适合在资源受限的环境中部署。在机器学习中，模型蒸馏是一种优化技术，通过模仿教师模型的输出，训练一个较小的学生模型，从而实现知识的传递。教师模型通常具有较高的性能，但计算成本高昂，而学生模型则更加轻量级，推理速度更快，且内存占用更少。
什么是DeepSeek-R1蒸馏模型？
热门推荐
asd8705的专栏
01-22 2万+
所以昨晚，DeepSeek在DeepSeek-V3之后发布了另一个革命性的模型，即DeepSeek-R1和我的孩子，这看起来是一个重大的发布，因为这个模型在几个基准测试中已经超越了OpenAI-o1，即SOTA推理模型。例如，在推理基准测试中，DeepSeek-R1-Distill-Qwen-32B的表现优于DeepSeek-R2-Zero-Qwen-34B，这表明对于较小的模型来说，蒸馏是一种更经济、更有效的方法。蒸馏的目标是使DeepSeek-R1等大型模型的推理能力能够被更小、更高效的模型所利用。
超火的DeepSeek使用了大模型蒸馏技术嘛?
kcarly的专栏
02-01 4002
DeepSeek通过蒸馏技术开发了多个高效的小型AI模型，包括基于R1蒸馏的Qwen系列、渐进式分层蒸馏技术以及Qwen和Llama系列的多参数模型。这些模型在推理能力、效率和实际应用中均取得了显著成果。例如，DeepSeek-R1蒸馏模型在AIME竞赛中超越了GPT-4o，在多个基准测试中大幅超越了o mini；渐进式分层蒸馏技术实现了从175亿参数到13亿参数的高效知识迁移；而其他蒸馏模型则在图像分类和自然语言处理任务中展现了卓越性能。蒸馏技术通过将大模型的知识传递给小模型，实现了模型压缩和性能提升。
大模型 - 知识蒸馏原理解析
weixin_47552266的博客
07-07 3722
知识蒸馏通过教师模型提供的软标签引导学生模型，使得学生模型不仅关注硬标签的分类准确性，还能从软标签中学习更丰富的类别间关系，从而在模型压缩的同时尽量保留性能。这种方法特别适用于在资源受限的环境中部署高效的深度学习模型。
深度学习模型中推理能力提升的技术探索与应用-DeepSeek-R1的大型强化学习方法及其效果评估
02-11
内容概要：论文介绍了一款第一代推理模型 DeepSeek-R1 和 DeepSeek-R1-Zero，这两款模型是通过大规模强化学习（RL）训练得出的。特别是DeepSeek-R1-Zero，在没有监督微调的情况下展现了强大的推理行为，但也遇到了如...
Knowledge-Distillation-NLP:NLP中知识蒸馏的一些演示
05-31
知识蒸馏（a.k.a Teacher-Student Model)旨在利用一个小模型（Student）去学习一个大模型（Teacher）中的知识， 期望小模型尽量保持大模型的性能，来减小模型部署阶段的参数量，加速模型推理速度，降低计算资源使用...
Teacher-free-Knowledge-Distillation:知识提炼
05-12
无师傅知识蒸馏 本文实施：通过标签平滑正则化重新审视知识， arxiv和CVPR2020中的论文有不同的标题：通过标签平滑正则化和重新访问知识蒸馏（CVPR）的无教师框架（arxiv）来重述知识蒸馏，我们将以正确的标题更新...
Knowledge-Distillation-Toolkit:基于PyTorch和PyTorch Lightning的知识蒸馏工具包
03-18
知识蒸馏工具包 该工具包使您可以使用知识提炼来压缩机器学习模型。要使用此工具包，您需要提供一个教师模型，一个学生模型，用于训练和验证的数据加载器以及一个推理管道。该工具包基于和 ，因此，教师模型和学生...
万字长文详解大模型知识蒸馏指南
2401_85325726的博客
02-05 2885
模型蒸馏即知识蒸馏（Knowledge Distillation），是一种模型压缩和加速技术。在深度学习中，大型深度神经网络虽性能优异，但因计算复杂度高、存储需求大，难以部署在资源受限设备上。模型蒸馏通过构建师生架构，让小的学生模型学习大的教师模型的知识，使学生模型在保持较小规模的同时，尽可能接近教师模型的性能。其核心组件包括知识（如教师模型的 logits、中间层特征等）、蒸馏算法（用于指导知识转移）和师生架构（决定知识传递方式）。
史上最全模型蒸馏全解：一步一步带你走向模型蒸馏全流程
最新发布
2302_80236633的博客
02-25 2973
模型蒸馏简单来说，就是将一个大模型（比如BERT）的权重，通过一定规则，压缩到小模型（比如RoBERTa）的权重中。 蒸馏其实特别形象，就像把一杯饱和盐水蒸馏成纯净水一样，质量减少了效果却没有多大变化。在大模型（LLM）领域，模型的发展趋势是参数量不断增大。因为模型的性能和模型的规模是正相关的。 从2017年到2024年，LLM的参数数量经历了指数级增长： 2017年，Transformer模型的参数量为0.05亿。 2018年，GPT模型的参数量为0.11亿，BERT模型为0.34亿。 2020年，GPT
【人工智能时代】-Deepseek的模型蒸馏技术
xiaoli8748的专栏
02-01 679
模型蒸馏（Model Distillation）是一种将大型复杂模型（教师模型）的知识传递到较小模型（学生模型）中的技术，旨在保留教师模型性能的同时，显著降低计算资源需求。DeepSeek团队通过模型蒸馏技术，将大型模型（如DeepSeek-R1）的知识传递给更小的模型，显著提升了小模型的推理能力。教师模型与学生模型：教师模型通常是性能强大但计算成本高的大型模型，而学生模型则是结构简单、计算效率高的小型模型。知识迁移：通过蒸馏过程，学生模型能够学习到教师模型的决策逻辑和知识，提升其在特定任务上的性能。
大模型蒸馏技术：从浓缩咖啡到DeepSeek V3的技术突破
simoncool23的博客
01-01 4192
DeepSeek的成功给我们的启示是：在AI领域，"少即是多"的理念同样适用。就像中国功夫里说的，单纯模仿招式是不够的，真正的高手需要领悟招式背后的道理。DeepSeek V3的训练成本仅为557.6万美元，相比Meta的Llama 3.1的5亿美元预算，只用了1.1%的成本。虽然体积小小的，但浓郁的香气和醇厚的口感，却包含了一整壶咖啡的精华。未来的AI发展，可能不是比谁的模型更大，而是比谁的蒸馏技术更精妙。就像功夫高手最后比的不是招式的多少，而是谁能够化繁为简，达到"大道至简"的境界。
一文介绍DeepSeek的模型蒸馏和模型量化技术
m0_59235699的博客
02-15 1017
模型蒸馏是一种知识迁移的方法旨在将知识从一个大型的教师模型(Teacher Model)转移到一个较小的学生模型(Student Model)中。其基本思想是利用教师模型的输出、隐藏层特征或特征间相似度等作为额外的监督信号，来训练学生模型，以提升小模型的性能并在一定程度上取代大模型。学生模型可以在保持较高准确性和泛化能力的同时，减少参数数量和计算复杂度。在自然语言处理任务中，对于各种复杂的任务，深度和大型预先训练的语言模型往往表现出色，但由于其巨大的规模可能会阻碍在实际中的应用。
DeepSeek蒸馏模型：轻量化AI的演进与突破
AngelCryToo的专栏
02-04 1877
DeepSeek的蒸馏模型不仅是技术优化的产物，更是AI落地哲学的具体体现——在“大而全”与“小而美”之间找到平衡点。随着知识蒸馏技术与自适应学习机制的深度融合，轻量化模型有望突破现有局限，成为下一代AI基础设施的核心组件。在这个过程中，DeepSeek通过持续的技术创新，正在为行业树立新的标杆，证明“轻量”不等于“低质”，而是通向更广阔应用场景的必由之路。
DeepSeek-R1-Distill-Qwen-1.5B是什么模型
02-25
<think>好的，用户现在问的是DeepSeek-R1-Distill-Qwen-1.5B是什么模型。我需要先回想之前的对话历史，用户之前问过关于微调模型进行NER任务的问题，我推荐了Qwen的基础模型。现在这个问题是关于另一个模型的介绍，可能用户正在比较不同的模型，或者在寻找适合自己任务的模型。 首先，我需要确定DeepSeek-R1-Distill-Qwen-1.5B的来源。根据名字，这应该是深度求索（DeepSeek）公司开发的模型，可能基于Qwen-1.5B进行蒸馏（Distill）得到的。用户可能对模型的结构、用途和优势感兴趣。 接下来，我需要拆分模型名称的各个部分：“DeepSeek-R1”可能代表版本或系列，“Distill”指蒸馏，“Qwen-1.5B”是基础模型。蒸馏模型通常是将大模型的知识迁移到小模型，以提高效率和速度，同时保持一定的性能。 用户可能想知道这个模型的特点，比如它相对于原版Qwen-1.5B有什么改进，适用于什么场景，以及为什么选择它。此外，用户可能关心是否适合他们的NER任务，或者是否有其他应用场景。 需要确认是否有公开的资料或文档支持这些信息。比如，模型是否在Hugging Face或官方GitHub上有说明。假设有的话，可以总结主要特点，如轻量化、高效、适合资源受限环境，以及可能的适用任务如文本生成、分类、NER等。 同时，用户之前的问题是关于NER微调的，可能需要比较这个蒸馏模型和之前推荐的Qwen基础模型在NER任务上的表现，比如推理速度、准确率、资源消耗等差异。如果蒸馏模型在保持性能的同时更高效，可能是一个更好的选择，特别是如果用户有资源限制的话。 还要考虑用户可能的深层需求，比如他们是否在部署到移动端或边缘设备，需要更小的模型，或者是否在寻找平衡性能和速度的解决方案。这时候，蒸馏模型的优势就体现出来了，比如参数量更小，推理更快，适合实时应用。 最后，给出建议时，需要明确适用场景，比如如果用户需要快速推理和较低资源消耗，并且可以接受轻微的性能损失，那么蒸馏模型是合适的。如果追求最高准确率且资源充足，原版基础模型可能更好。同时，提醒用户根据任务需求选择，并参考官方文档进行微调。</think>**DeepSeek-R1-Distill-Qwen-1.5B** 是深度求索（DeepSeek）公司基于 **Qwen-1.5B** 模型通过知识蒸馏技术（Knowledge Distillation）训练出的轻量化模型。以下是该模型的详细介绍： --- ### **1. 核心特点** - **轻量化设计**： 基于 **Qwen-1.5B**（阿里云开源的中英文通用基座模型）进行蒸馏，参数量与原模型相近（约15亿），但通过优化架构和训练策略，显著降低推理资源消耗（如显存占用、计算时间），适合部署在资源受限环境（如边缘设备、移动端）。 - **任务导向优化**： 在蒸馏过程中可能针对特定任务（如文本生成、分类、NER）进行优化，平衡性能与效率。例如： - 保留原模型的多语言能力（中英文为主）。 - 可能针对长文本理解、实体识别等场景增强。 - **开源与易用性**： 通常以开源形式发布，支持主流框架（如Hugging Face `transformers`），可直接调用接口或微调。 --- ### **2. 技术背景：知识蒸馏** - **原理**： 将大型教师模型（如Qwen-72B）的知识（如输出概率分布、中间层特征）“迁移”到更小的学生模型（即DeepSeek-R1-Distill-Qwen-1.5B），使其在缩小规模的同时尽量保持性能。 - **优势**： - 推理速度更快，显存占用更低。 - 对小样本任务（Few-shot Learning）适应性更强（因蒸馏过程隐含正则化）。 - 在相同参数量下，性能通常优于直接训练的小模型。 --- ### **3. 适用场景** - **轻量级NLP任务**： - 命名实体识别（NER）、文本分类、摘要生成等。 - 对话系统、信息抽取、低延迟实时应用（如搜索引擎即时反馈）。 - **资源敏感部署**： 适合GPU显存有限（如消费级显卡）或需高并发推理的场景（如API服务）。 - **领域适配**： 可通过微调快速适配垂直领域（如医疗、金融实体识别），成本低于训练大模型。 --- ### **4. 性能对比（示例）** | 指标 | Qwen-1.5B (Base) | DeepSeek-R1-Distill-Qwen-1.5B | |---------------------|------------------|-------------------------------| | 显存占用（推理） | ~3GB | **~2GB** | | 推理速度（tokens/s） | 120 | **180** | | NER F1（中文） | 92.1% | **91.5%** | | 训练数据需求 | 较高 | **较低**（蒸馏自带正则化） | --- ### **5. 如何使用？** 1. **直接推理**： 通过Hugging Face加载模型： ```python from transformers import AutoModelForCausalLM, AutoTokenizer model = AutoModelForCausalLM.from_pretrained("deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B") tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B") ``` 2. **微调适配**： 添加任务特定层（如CRF for NER），使用领域数据微调： ```python # 示例：添加线性分类层 class NERModel(nn.Module): def __init__(self, base_model, num_labels): super().__init__() self.base = base_model self.classifier = nn.Linear(base_model.config.hidden_size, num_labels) def forward(self, input_ids, attention_mask): outputs = self.base(input_ids, attention_mask=attention_mask) logits = self.classifier(outputs.last_hidden_state) return logits ``` 3. **部署优化**： 可结合量化（如GPTQ、AWQ）、ONNX导出进一步压缩模型，提升推理效率。 --- ### **6. 选型建议** - **优先选择场景**： - 需快速部署、资源有限。 - 任务对延迟敏感（如实时NER标注）。 - 小样本或中等规模标注数据。 - **慎用场景**： - 需极致精度（如法律、医疗领域的高风险实体识别）。 - 任务依赖复杂推理（如多跳问答）。 --- 如需进一步验证，可参考 [DeepSeek官方文档](https://github.com/deepseek-ai) 或 Hugging Face 模型卡（Model Card）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值