F.3【性能优化模型压缩】在数据增强、蒸馏剪枝下ERNIE3.0分类模型性能提升

已于 2023-04-07 16:46:43 修改
阅读量880 收藏 3
点赞数 1
分类专栏： NLP领域知识+项目+码源+方案设计 文章标签： 自然语言处理 人工智能 数据挖掘 知识蒸馏 模型压缩
于 2022-08-18 17:45:28 首次发布
涉及博主原创类文章，未经博主许可不允许转载
本文链接：https://blog.csdn.net/sinat_39620217/article/details/126410573
版权
该博客介绍了如何通过数据增强和数据蒸馏技术提升ERNIE3.0模型在医疗搜索检索词意图分类任务上的性能。详细讲述了使用Gensim、Tqdm、LAC等工具进行数据处理，以及NLPCDA进行数据增强的策略。文章还探讨了数据蒸馏的三步流程，并展示了模型剪裁后性能的变化。
摘要由CSDN通过智能技术生成

在这里插入图片描述
NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等

在这里插入图片描述
专栏详细介绍：NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等

前人栽树后人乘凉，本专栏提供资料：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等项目代码整合，省去你大把时间，效率提升。 帮助你快速完成任务落地，以及科研baseline。

项目链接以及码源见文末

在数据增强、蒸馏剪枝下ERNIE3.0模型性能提升</

了解本专栏 订阅专栏 解锁全文
汀、人工智能
关注
专栏目录
订阅专栏
F.1【性能优化模型压缩】UIE_Slim满足工业应用场景，解决推理部署耗时问题，提升效能，知识蒸馏，模型剪裁。
丨汀、的博客
09-27 925
测试硬件情况：1点算力卡对应的：V100 32GBCPU4 CoresRAM32GBDisk100GB模型模型计算运行时间precisionrecallF1uie-base0.692770.723270.70769uie-mini0.741380.540880.62545uie-micro0.747570.484280.58779uie-nano24.89377610.742860.490570.59091蒸馏mini0.7732。
ERNIE 3.0中文预训练模型进行MSRA序列标注
06-01
ERNIE 3.0中文预训练模型进行MSRA序列标注 文章链接：https://blog.csdn.net/sinat_39620217/article/details/125071909?csdn_share_tail=%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%22125071909%22%2C%22source%22%3A%22sinat_39620217%22%7D&ctrtid=UfDbk
在数据增强、蒸馏剪枝下ERNIE3.0模型性能提升详细方案
m0_63642362的博客
09-13 674
本次主要对分类模型加入数据增强、数据蒸馏，已经对性能指标进行细化，不只是ACC，个人比较关注F1情况，并作为保存模型依据。
ACL'22 | 陈丹琦提出CoFi模型剪枝，加速10倍，精度几乎无损
zenRRan的博客
05-09 581
每天给你送来NLP技术干货！文 | jxyxiangyu来自 | 夕小瑶的卖萌屋我们都知道，为了让以深度神经网络为基础的模型更快地训练，人们提出了单机多卡、多机多卡等分布式训练的方式，那么，在模型预测推理阶段，有什么方法可以加速推理呢？遗憾的是，并行/分布式的加速方法并不适用于模型推理阶段。但这并不意味着没有方法可以加速模型的推理。既然多核的方式不行，可以考虑在单核上面的...
【深度学习】BERT变种—百度ERNIE 3.0
Dong_ZH的博客
06-19 1662
大规模预训练模型，带来了人工智能领域新的突破，由于其强大的通用性和卓越的迁移能力，掀起了预训练模型往大规模参数化发展的浪潮。但这些大规模的模型是在没有引入语言知识和世界知识的情况下对普通文本进行训练的。此外，大多数大型模型是以自回归的方式训练的。因此，这种传统的微调方法在解决下游语言理解任务时表现出相对较弱的性能。然而，现有的大规模预训练模型，主要依赖纯文本学习，缺乏大规模知识指导学习，模型能力存在局限。
深度揭秘技术创新：全球首个知识增强千亿大模型是怎样炼成的？
PaddlePaddle
12-09 488
近日，百度与鹏城自然语言处理联合实验室重磅发布鹏城-百度·文心（模型版本号：ERNIE 3.0 Titan），该模型是全球首个知识增强的千亿AI大模型，也是目前为止全球最大的中文单体模型。...
人工智能-项目实践-模型压缩-模型压缩demo（剪枝、量化、知识蒸馏）.zip
01-03
本项目实践主要涵盖了三种常见的模型压缩技术：剪枝、量化和知识蒸馏，这些都是现代深度学习模型优化的重要手段。 **剪枝** 是一种减少模型参数数量的方法，其目标是去除对模型预测贡献较小的神经元或连接，从而...
人工智能-项目实践-模型剪枝-在 oxford hand 数据集上对 YOLOv3 做模型剪枝.zip
01-03
人工智能-项目实践-模型剪枝-在 oxford hand 数据集上对 YOLOv3 做模型剪枝 用 YOLOv3 模型在一个开源的人手检测数据集 oxford hand 上做人手检测，并在此基础上做模型剪枝。对于该数据集，对 YOLOv3 进行 channel ...
人工智能-项目实践-模型压缩-基于kaggle上Titanic数据集实现的ID3、C4.5、CART和CART剪枝算法.zip
01-03
人工智能-项目实践-模型压缩-基于kaggle上Titanic数据集实现的ID3、C4.5、CART和CART剪枝算法 基于kaggle上Titanic数据集实现的ID3、C4.5、CART和CART剪枝算法
模型剪枝-在Oxford-Hand数据集上对YOLOv3进行模型剪枝-附项目源码+数据集+剪枝权重下载-优质项目实战.zip
最新发布
05-20
模型剪枝_在Oxford-Hand数据集上对YOLOv3进行模型剪枝_附项目源码+数据集+剪枝权重下载_优质项目实战
【论文笔记_知识蒸馏_数据增强_2022】When Chosen Wisely, More Data Is What You Need
qq_45128278的博客
03-25 3120
When Chosen Wisely, More Data Is What You Need: A Universal Sample-Efficient Strategy For Data Augmentation 摘要 众所周知，数据增强（DA）可以提高深层神经网络的泛化能力。大多数现有的DA技术天真地添加一定数量的增强样本，而不考虑这些样本的质量和增加的计算成本。为了解决这个问题，一些最先进的DA方法采用的一种常见策略是，在训练期间根据任务目标自适应地生成或重新加权增强样本。然而，这些自适应DA方法：
ERNIE 3.0: LARGE-SCALE KNOWLEDGE ENHANCED PRE-TRAINING FOR LANGUAGE UNDERSTANDING AND GENERATION(翻译)
myl1992的专栏
04-14 2937
ERNIE 3.0: LARGE-SCALE KNOWLEDGE ENHANCED PRE-TRAINING FOR LANGUAGE UNDERSTANDING AND GENERATION
基于生成对抗网络的知识蒸馏数据增强
weixin_50094312的博客
10-27 1210
思想来源：仅对原标签做简单的线性变化或直接使用原标签作为新样本标签的方法是无法表示标签中离散信息的 ，这会导致网络模型无法将离散信息也作为一种特征进行学习。针对上述问题，在区域丢弃算法的基础上，提出一种基于生成对抗网络的知识蒸馏数据增强算法。使用补丁对丢弃区域进行填补，减少区域丢弃产生的非信息噪声。在补丁生成网络中，保留生成对抗网络的编码器-解码器结构，利用编码器卷积层提取特征，通过解码器对特征图上采样生成补丁。
基于ERNIR3.0的文本多分类
wangqiaowq的博客
03-01 1704
110M参数通用模型ERNIE 3.0 Base280M参数重量级通用模型ERNIE 3.0 XBase74M轻量级通用模型ERNIE 3.0 Medium文档链接： https://github.com/PaddlePaddle/ERNIEERNIE模型汇总ERNIE模型汇总。
基于ERNIR3.0模型的文本分类的开发与实践
wangqiaowq的博客
03-05 935
遇到的问题：如下 采用paddleNLP下文本分类实例进行分类训练后发现 生成的模型分类不准。打算自己开发脚本进行分类计算再进行服务化部署。
ERNIE3.0一句话，我直接好家伙
李rumor
07-08 813
卷友们好，我是rumor。没想到啊没想到。最近中文大模型在CLUE的内卷之战轰轰烈烈，就是不见百度的身影，我就猜它肯定在憋什么大招，结果没想到大招来的这么快，也没想到这个大招还会波及到我。...
ERNIE3随笔
weixin_49379140的博客
07-15 752
不像业界流行的预训练测略，用共享的Transformer网络实现不同的完形填空任务和用task-specific的自注意mask去学习context的预测条件。ERNIE3.0设计了一种新的Continual Multi-Paradigms Unified Pre-training Framework。作者提出，不同的文本任务依赖于相同的连续潜在抽象特征，比如词信息/语法信息，但是顶层的具体特征不是这样的。NLU中利用不同的位置去学习语义的连贯性，但是在NLG中缺是需要更多的连续位置信息。受multi-..
小样本学习分类任务：在文心ERNIE3.0应用（提示学习），提速提效快用起来！
m0_63642362的博客
09-04 2123
小样本学习在文心模型多分类任务应用（提示学习）
还在用BERT做文本分类？分享一套基于预训练模型ERNIR3.0的文本多分类全流程实例【文本分类】
风起云扬的博客
01-01 5515
文本分类任务是自然语言处理中最常见的任务之一。文本分类简单定义来说就是对给定的文本，可以是一句话、一段文本、一篇文章利用文本分类器进行分类和打标签。文本分类任务广泛应用于长短文本、情感分析、新闻分类、事件类型分类、政务信息分类、商品类型分类、文章类型分类、论文类别、专利领域、案件描述、罪名分类、意图分类、论文专利分类、邮件自动分类、评论类型分类、药物反应分类、对话分类、税收分类、投诉分类、广告检测、敏感违禁内容分类、内容安全检测、预情分析、话题分类等等日常或者专业领域中。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

汀、人工智能

十分感谢您的支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值