文本分类任务Qwen3-0.6B与Bert：实验见解

已于 2025-05-16 18:11:16 修改
阅读量1k 收藏 14
点赞数 17
文章标签： bert 文本分类 Qwen3 人工智能 AI大模型
于 2025-05-16 18:06:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20144897/article/details/148013390
版权

文本分类任务Qwen3-0.6B与Bert：实验见解

前言

最近在知乎上刷到一个很有意思的提问Qwen3-0.6B这种小模型有什么实际意义和用途。查看了所有回答，有人提到小尺寸模型在边缘设备场景中的优势（低延迟）、也有人提出小模型只是为了开放给其他研究者验证scaling law（Qwen2.5系列丰富的模型尺寸为开源社区验证方法有效性提供了基础）、还有人说4B、7B的Few-Shot效果就已经很好了甚至直接调用更大的LLM也能很好的解决问题。让我比较感兴趣的是有大佬提出小模型在向量搜索、命名实体识别（NER）和文本分类领域中很能打，而另一个被拿来对比的就是Bert模型。在中文文本分类中，若对TextCNN、FastText效果不满意，可能会尝试Bert系列及其变种（RoBerta等）。但以中文语料为主的类Encoder-Only架构模型其实并不多（近期发布的ModernBERT，也是以英文和Code语料为主），中文文本分类还是大量使用bert-base-chinese为基础模型进行微调，而距Bert发布已经过去了6年。Decoder-Only架构的LLM能在文本分类中击败参数量更小的Bert吗？所以我准备做一个实验来验证一下。

不想看实验细节的，可以直接看最后的结论和实验局限性部分。

实验设置

  • GPU：RTX 3090（24G）

  • 模型配置：

模型参数量训练方式
google-bert/bert-base-cased0.1B添加线性层，输出维度为分类数
Qwen/Qwen3-0.6B0.6B构造Prompt，SFT
  • 数据集配置：fancyzhx/ag_news，分类数为4，分别为World（0）、Sports（1）、Business（2）、Sci/Tech（3）。训练样本数120000，测试样本数7600，样本数量绝对均衡。数据集展示：
{
  "text": "New iPad released Just like every other September, this one is no different. Apple is planning to release a bigger, heavier, fatter iPad that..."
  "label": 3
}
  • 选择该数据集是在Paper with code的Text Classification类中看到的榜单，并且该数据集元素基本上不超过510个token（以Bert Tokenizer计算）。因为Bert的最大输入长度是510个token，超过会进行截断，保留前510个token，所以为了进行公平的比较，尽量避免截断。
  • 因为是多分类任务，我们以模型在测试集上的F1指标为标准，F1值越高，模型效果越好。

Bert训练细节

  • Bert的训练比较简单，将文本使用Tokenizer转换成input_ids后，使用Trainer进行正常训练即可。训练参数（若未单独指出，则代表使用Trainer默认值）：
参数名称值
lr_scheduler_type（学习率衰减策略）cosine
learning_rate（学习率）1.0e-5
per_device_train_batch_size（训练batch_size）64
gradient_accumulation_steps（梯度累积）1
per_device_eval_batch_size（验证batch_size）256
num_train_epochs（epoch）5
weight_decay1e-6
eval_steps（验证频率）0.1
  • 训练过程中模型对测试集的指标变化：
StepTraining LossValidation LossAccuracyPrecisionRecallF1
9380.1915000.1956390.9347370.9353640.9347370.934773
18760.1776000.1794510.9382890.9384850.9382890.938360
28140.1422000.1863850.9367110.9387380.9367110.936743
37520.1466000.1689540.9455260.9459550.9455260.945572
46900.1135000.1768780.9453950.9454080.9453950.945385
56280.0922000.1772680.9456580.9457590.9456580.945627
65660.0815000.1946390.9427630.9438130.9427630.942817
75040.0776000.1914450.9440790.9443620.9440790.944056
84420.0681000.1944310.9442110.9444570.9442110.944216

请添加图片描述

  • 可以看到Bert在3752 step（2 epoch）后出现了严重的过拟合，在测试集上最好结果是：0.945

Qwen3训练细节

  • 使用Qwen3训练文本分类模型有2种方法。第1种是修改模型架构，将模型最后一层替换为输出维度为分类数的线性层。第2种是构造Prompt，以选择题的方式创建问答对，然后进行SFT训练。第1种方法相当于仅把模型当做一个embedding，但这与擅长生成任务的Decoder-Only训练方式相违背，所以这里不尝试第1种方法，只实验第2种方法。
  • 训练框架使用LLama Factory，Prompt模板为：
prompt = """Please read the following news article and determine its category from the options below.

Article:
{news_article}

Question: What is the most appropriate category for this news article?
A. World
B. Sports
C. Business
D. Science/Technology

Answer:/no_think"""

answer = "<think>\n\n</think>\n\n{answer_text}"
  • 因为Qwen3为混合推理模型，所以对非推理问答对要在模板最后加上/no_think标识符（以避免失去推理能力），并且回答要在前面加上<think>\n\n</think>\n\n。
  • 按照LLama Factory SFT训练数据的格式要求组织数据，如：
{
  'instruction': "Please read the following news article and determine its category from the options below.\n\nArticle:\nWall St. Bears Claw Back Into the Black (Reuters) Reuters - Short-sellers, Wall Street's dwindling\\band of ultra-cynics, are seeing green again.\n\nQuestion: What is the most appropriate category for this news article?\nA. World\nB. Sports\nC. Business\nD. Science/Technology\n\nAnswer:/no_think",
  'output': '<think>\n\n</think>\n\nC'
}
  • 训练参数配置文件：
### model
model_name_or_path: model/Qwen3-0.6B

### method
stage: sft
do_train: true
finetuning_type: full

### dataset
dataset: agnews_train
template: qwen3
cutoff_len: 512

overwrite_cache: true
preprocessing_num_workers: 8

### output
output_dir: Qwen3-0.6B-Agnews
save_strategy: steps
logging_strategy: steps
logging_steps: 0.01
save_steps: 0.2
plot_loss: true
report_to: tensorboard
overwrite_output_dir: true

### train
per_device_train_batch_size: 12
gradient_accumulation_steps: 8
learning_rate: 1.2e-5
warmup_ratio: 0.01
num_train_epochs: 1
lr_scheduler_type: cosine
bf16: true

  • 因为Bert在训练2个epoch后就出现了严重的过拟合，所以对Qwen3模型，只训练1个epoch，每0.2个epoch保存一个检查点。

  • 训练过程中模型对测试集的指标变化（训练结束后加载检查点对测试集进行推理，注意！为保证推理结果稳定，我们选择选项ppl低的作为预测结果）：

StepTraining LossAccuracyPrecisionRecallF1
2500.0260.9120.9170.9120.912
5000.0270.9240.9240.9240.924
7500.0220.9370.9370.9370.937
10000.0220.9410.9410.9410.941
12500.0230.9400.9400.9400.940

请添加图片描述

  • 可以看到Qwen3-0.6B模型Loss在一开始就急速下降，然后开始抖动的缓慢下降，如下图（纵轴范围调整0.05~0.015）。在测试集上最好结果是：0.941。

请添加图片描述

Bert和Qwen3-0.6B RPS测试

  • 为测试Bert和Qwen3-0.6B是否满足实时业务场景，对微调后的Bert和Qwen3-0.6B进行RPS测试，GPU为RTX 3090（24G）：
模型推理引擎最大输出Token数RPS
BertHF-60.3
Qwen3-0.6BHF813.2
Qwen3-0.6BVLLM827.1

结论

  • Qwen3-0.6B在Ag_news数据集上并未超过Bert模型，甚至还略逊色于Bert。
  • Qwen3-0.6B似乎非常容易过拟合，前期Loss呈现断崖式下降。
  • Qwen3-0.6B训练1个epoch耗时1个3090GPU时（使用HF推理引擎测试耗时0.5个3090GPU时），Bert训练5个epoch+10次测试集推理共耗时1个3090GPU时。也就是Qwen3-0.6B训练和推理共耗时1.5 GPU时，Bert训练和推理共耗时1 GPU时。Bert训练明显快于Qwen3-0.6B。
  • Bert的RPS是Qwen3-0.6B（VLLM推理引擎）的3倍。

实验局限性

  • 未实验在Think模式下Qwen3-0.6B的效果（使用GRPO直接训练0.6B的模型估计是不太行的，可能还是先使用较大的模型蒸馏出Think数据，然后再进行SFT。或者先拿出一部分数据做SFT，然后再进行GRPO训练（冷启动））。
  • 未考虑到长序列文本如token数（以Bert Tokenizer为标准）超过1024的文本。
  • 也许因为AgNews分类任务比较简单，其实不管是Bert还是Qwen3-0.6B在F1超过0.94的情况下，都是可用的状态。Bert（F1：0.945）和Qwen3-0.6B（F1：0.941）的差距并不明显。如果大家有更好的开源数据集可以用于测试，也欢迎提出。
    okenizer为标准）超过1024`的文本。
  • 也许因为AgNews分类任务比较简单，其实不管是Bert还是Qwen3-0.6B在F1超过0.94的情况下，都是可用的状态。Bert（F1：0.945）和Qwen3-0.6B（F1：0.941）的差距并不明显。如果大家有更好的开源数据集可以用于测试，也欢迎提出。
  • 未对两模型进行细致的参数调整。
  • 未测试两模型在中文文本分类任务中的表现。
The What, Why, and How of Context Length Extension Techniques in Large Language Models
c_cpp_csharp的专栏
03-02 731
大型语言模型（LLM）的出现代表了自然语言处理（NLP）的一个显著突破，有助于在文本理解和生成方面取得实质性进展。然而，在这些进步中，值得注意的是，LLM在上下文长度外推方面经常面临限制。理解和扩展LLM的上下文长度对于提高其在各种NLP应用程序中的性能至关重要。在这篇调查论文中，我们深入探讨了为什么它是必不可少的多方面问题，以及高级技术可能给NLP应用带来的潜在转变。我们研究了与延长上下文长度相关的固有挑战，并对研究人员使用的现有策略进行了有组织的概述。
Qwen2-VL出现RuntimeError: CUDA error: too many resources requested for launch CUDA kernel errors的解决方案
热门推荐
weixin_43178406的博客
10-31 11万+
本文主要介绍了Qwen2-VL出现RuntimeError: CUDA error: too many resources requested for launch CUDA kernel errors的解决方案，希望能对使用Qwen2-VL的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
DeepSeek-GRPO
liuhe2296044的博客
03-05 749
per_token_logs和old_per_token_logps都是softmax再取log后得到的，每个元素都是负数，现在相减再e的对数，也就是原来的值相除，对应公式中。一个prompt采样多个output然后给不同的output不同的权重（advantage），提出一个新的token级别loss。②为什么πold用self.model生成，π也用self.model生成（ 这不都是基线+lora吗）？v3的时候，rewardmodel还是一个Learn出来的模型，到r1的时候就已经是一套规则了。
Qwen3 - 0.6B与Bert文本分类实验：深度见解与性能剖析
最新发布
AI前沿技术的分享！
05-19 503
本文对比了Qwen3-0.6B和Bert在Ag_news数据集上的文本分类性能。Qwen3-0.6B采用线性层分类时F1值达0.949，优于Bert的0.945；而其SFT分类方法F1值为0.941。推理效率方面，Bert的RPS为60.3，Qwen3-0.6B线性层分类为38.1，SFT分类为13.2。实验表明，Qwen3-0.6B的Think模式比No Think模式准确率仅高1%，但推理时间更长。实验局限性包括未测试中文文本分类任务，且数据集相对简单。
视觉表征与多模态
qq_44761480的博客
11-16 887
视觉表征与多模态 多模态大模型脱胎于大模型的发展，，从而多模态大模型这一“新领域”应运而生。作为在语言模态上得到了良好训练的 LLMs，。多模态大模型的整体架构可以被归类为如下图的五个部分，，通常而言，在训练过程中，多模态的编码器、生成器与大模型的参数一般都固定不变，不用于训练，主要优化的重点将落在输入投影与输出投影之中，而这两部分一般参数量仅占总体参数的 2%。
精|大多模态推理模型全面综述：感知、推理、思考与规划
2501_90883911的博客
05-13 771
推理是智能的核心，它塑造了人们在不同领域进行决策、得出结论和进行归纳的能力。在人工智能领域，随着系统越来越多地在开放、不确定和多模态的环境中运行，推理对于实现稳健且自适应的行为至关重要。大型多模态推理模型（LMRMs）作为一种有前景的范式应运而生，它整合了文本、图像、音频和视频等多种模态，以支持复杂的推理能力。其目标是实现全面感知、精准理解和深度推理。随着研究的不断推进，多模态推理已迅速从模块化、感知驱动的流程发展为统一的、以语言为中心的框架，这种框架能够提供更连贯的跨模态理解。
51c大模型~合集122
whaosoft~aiotの开发板商城
04-28 902
从 15B token 开始，DIFF Transformer 展现出了显著优于 Transformer 的数学能力，至 20B token 结束的时候，准确率的差距达到了 11% 左右。如图 11 所示，在 8 个数据集上，DIFF Transformer 相较 Transformer 均有不同程度的提升，平均准确率提升了 7.5%，这表明差分注意力机制更强大的上下文建模能力在推理任务中也至关重要。这一机制输出的是连续、细粒度的分数，能在更多题目上显示区分度，显著提高了统计效力。
XAttention
jerwey的博客
04-21 1053
XAttention是韩松团队提出的一种创新的块稀疏注意力机制，旨在解决传统Transformer模型在处理长上下文时面临的计算效率瓶颈问题。该论文通过引入反斜对角线评分(antidiagonal scoring)方法，实现了在不牺牲模型性能的前提下显著加速Transformer推理过程，特别是在多模态任务中表现出色。本文将详细介绍XAttention的核心思想、技术实现、实验验证及其在长上下文Transformer模型(LCTMs)中的应用价值。随着大语言模型(LLMs)和多模态模型的快速发展，长上下文T
51c自动驾驶~合集39
whaosoft~aiotの开发板商城
12-04 1410
我自己的原文哦~ https://blog.51cto.com/whaosoft/12707676大幅超越所有SOTA！地平线DiffusionDrive：生成式方案或将重塑端到端格局？近年来，由于感知模型的性能持续进步，端到端自动驾驶受到了来自工业界和学术界的广泛关注，端到端自动驾驶算法直接从原始传感器采集到的信息输入中学习驾驶策略。这种基于数据驱动的方法为传统的基于规则的运动规划提供了一种可扩展且强大的替代方案，而传统的基于规则的运动规划通常难以推广到复杂的现实世界驾驶环境。为了有效地从数据中学习驾
51c大模型~合集16
whaosoft~aiotの开发板商城
11-06 1275
​最近几年受益于巨大的参数规模和海量的训练语料，基于Transformer的大型语言模型（LLMs），如ChatGPT和LLaMA系列，在特定领域知识的生成和复杂推理任务中都表现出色的性能。此外，LLMs的能力随着参数规模的扩大而继续增强，给人们在通往AGI的道路上以无限遐想。然而，巨大的参数规模导致了模型需要巨大的存储和计算需求，这大大限制了LLMs的广泛应用和发展。量化技术通过将32位参数映射到更小的位数，有效地缓解了这些限制，该技术可以显著减少存储需求，并在推理过程中提升了计算速度和能源效率。
抢先体验全新极小大模型Qwen3:0.6B
F8_11的博客
04-29 665
全民都在期待DeepSeek-R2的发布，但是一不小心被阿里截胡了，2025 年 4 月 29 日，阿里巴巴发布并开源了通义千问 Qwen3 系列大模型。Qwen3 是 Qwen 系列中最新一代的大型语言模型，提供一整套密集模型和混合专家 （MoE） 模型。Qwen3 基于广泛的培训而构建，在推理、指令遵循、代理功能和多语言支持方面取得了突破性的进步。
免费在Colab运行Qwen3-0.6B——轻量高性能实战
独立开发，substack顶级编辑
04-30 169
Qwen3-0.6B证明了较小的模型正变得更加智能。它在其规模内表现出色，可以轻松在Colab上运行，并且采用开放使用许可。朋友可以尝试下。
DeepSeek-R1-Distill-Qwen-1.5B：最佳小型LLM？
独立开发，substack顶级编辑
01-26 1万+
DeepSeek-R1-Distill-Qwen-1.5B，这款紧凑高效的模型在数学和推理任务中表现出色，在关键基准测试中超越了GPT-4o和Claude 3.5。
Qwen 发布 Qwen2.5-VL-32B 模型：更智能、更轻便​
llm_way的博客
03-28 1052
Qwen2.5-VL-32B 模型的发布，为人工智能的发展注入了新的活力。从未来发展趋势来看，多模态人工智能将朝着更加智能、高效、个性化的方向发展。Qwen 团队可能会进一步优化模型，提升其在更多复杂任务上的表现，拓展模型的应用领域。
咖啡叶子病害检测数据集VOC+YOLO格式1468张4类别均为单叶子
FL1623863129的博客
05-17 333
标注类别名称(注意yolo格式类别顺序不和这个对应，而以labels文件夹classes.txt为准):["Cercospora","Miner","Phoma","Rust"]数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注。标注数量(xml文件个数)：1468。标注数量(txt文件个数)：1468。
Baklib赋能企业知识资产AI化升级
weixin_51374429的博客
05-18 741
Baklib作为AI驱动的一站式知识中台，深度融合大数据与智能技术，助力企业实现知识资产数字化升级。通过构建安全可控的多语言知识库体系，帮助百度、京东等500强企业激活沉睡数据，提升60%AI数据准备效率，实现内容智能管理、多场景输出及业务创新，打造可视化AI Ready知识引擎，加速数字化转型进程。
垂直智能体：企业AI落地的正确打开方式
chainso23的博客
05-18 541
在一次重大投资决策中，这个智能体通过详细的财务模型和风险分析，帮助企业识别了原计划中被忽视的潜在风险，优化了投资策略，最终实现了比预期高的投资回报。上述企业管理与运营领域的成功案例清晰地表明，真正有价值的智能体不是简单地调用模型或拼凑功能，而是通过深度融合领域知识、专业流程和企业特定数据，形成清晰的内部逻辑，最终成为企业决策和运营的可靠助手。高效的垂直智能体需要具备强大的任务记忆能力，能够在多轮交互中保持上下文理解，记住用户的需求和偏好，避免重复询问或提供不一致的回答。
ApiHug 咋变成国外AI工具了呢？
程序员超级伴侣-ApiHug
05-16 952
摘要：ApiHug是一个专注于API设计和开发的平台，提供高度描述性、模块化和可视化的体验。它集成了API资产的分发、监控和管理功能，支持全语言在IDEA中的智能自动补全、linting和语法高亮等。ApiHug通过标准化的API设计元语言，旨在提高API开发效率和团队协作。其主要功能包括API设计、代码生成、模块共享、版本控制和统一IDE支持。目标受众为API开发者和团队，使用场景涵盖API设计、性能监控和智能提示。用户可通过官网注册、安装插件并开始使用ApiHug的各类功能。
qwen2.5-3b-instruct 做文本分类的代码
12-04
对不起，关于具体的代码细节，我无法直接展示，因为Qwen 2.5-3b-instruct 是一个模型，而实际的代码通常涉及到库的导入、数据预处理、模型初始化、训练步骤和评估流程。下面是一般使用类似Hugging Face Transformers库进行文本分类的大致步骤： ```python # 导入必要的库 from transformers import AutoTokenizer, AutoModelForSequenceClassification, TrainingArguments, Trainer # 初始化tokenizer和模型 model_name = "qwen2.5-3b-instruct" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForSequenceClassification.from_pretrained(model_name, num_labels=your_num_classes) # 根据你的任务调整类别数 # 加载或准备数据集 train_dataset = ... # 使用Dataloader包装的数据集 validation_dataset = ... # 定义训练参数 training_args = TrainingArguments( output_dir=&#39;./results&#39;, evaluation_strategy="epoch", per_device_train_batch_size=per_device_batch_size, per_device_eval_batch_size=per_device_eval_batch_size, num_train_epochs=num_epochs, ) # 创建Trainer trainer = Trainer( model=model, args=training_args, train_dataset=train_dataset, eval_dataset=validation_dataset, ) # 开始训练 trainer.train() ``` 记得替换`your_num_classes`为你的分类标签数量，以及调整其他适合你的超参数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

羽星_s

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值