BERT 蒸馏在垃圾舆情识别中的探索【文章学习】

最新推荐文章于 2024-03-09 11:52:10 发布
最新推荐文章于 2024-03-09 11:52:10 发布
阅读量178 收藏 2
点赞数
分类专栏： nlp_paper nlp学习 nlp 文章标签： textcnn 蒸馏 bert
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_16949707/article/details/115617328
版权
nlp 同时被 3 个专栏收录
97 篇文章 3 订阅
订阅专栏
nlp_paper
75 篇文章 7 订阅
订阅专栏
nlp学习
61 篇文章 2 订阅
订阅专栏
本文探讨了BERT模型在垃圾舆情识别中的应用，并介绍了如何通过模型蒸馏将BERT的知识转移到简单的神经网络中。研究包括Distilling Task-Specific Knowledge from BERT into Simple Neural Networks的论文学习，以及匹配模型蒸馏、双向LSTM和数据增强等技术的实施，旨在降低复杂模型的计算成本，同时保持高识别精度。
摘要由CSDN通过智能技术生成

一、总结

原文：BERT 蒸馏在垃圾舆情识别中的探索：https://mp.weixin.qq.com/s/ljYPSK20ce9EoPbfGlaCrw
在这里插入图片描述

二、其他资料

  1. Distilling Task-Specific Knowledge from BERT into Simple Neural Networks论文学习：https://blog.csdn.net/qq_16949707/article/details/115300853
    • 匹配模型蒸馏，bilstm，数据增强，包括代码
  2. Distilling the Knowledge in a Neural Network论文学习：
    • https://blog.csdn.net/qq_16949707/article/details/114258149
    • 最基础的模型蒸馏的文章
  3. nlp bert 模型蒸馏大全和工具
    • bert蒸馏
    • https://blog.csdn.net/qq_16949707/article/details/112982348
HxShine
关注
专栏目录
自然语言处理之语法解析：BERT：深度学习与自然语言处理
zhubeibei168的博客
10-01 1155
文本摘要是从长篇文本中提取关键信息，生成短小精悍的摘要。例如，从一篇论文中生成摘要。深度学习模型，作为机器学习的一个分支，通过模拟人脑神经网络的结构和功能，能够从大量数据中自动学习特征，尤其在自然语言处理（NLP）领域展现出强大的能力。循环神经网络（RNN）：RNN能够处理序列数据，通过内部状态（记忆）来捕捉序列中的依赖关系。在NLP中，RNN被广泛用于文本生成、情感分析、机器翻译等任务。长短期记忆网络（LSTM）
大语言模型原理与应用实践：基于监督学习进行微调 Supervised Learning & Fine-Tuning
最新发布
AI天才研究院
06-25 330
近年来，随着深度学习技术的快速发展，大规模语言模型(Large Language Models, LLMs)在自然语言处理(Natural Language Processing, NLP)领域取得了巨大的突破。这些大语言模型通过在海量无标签文本数据上进行预训练，学习到了丰富的语言知识和常识，可以通过少量的有标签样本在下游任务上进行微调(Fine-Tuning)，获得优异的性能。其中最具代表性的大模型包括OpenAI的GPT系列模型、Google的BERT、T5等。
bert_distill：BERT蒸馏（基于BERT的蒸馏实验）
02-03
基于BERT的蒸馏实验 参考论文《从BERT提取任务特定的知识到简单神经网络》 分别采用keras和pytorch基于textcnn和bilstm（gru）进行了实验 实验数据分割成1（有标签训练）：8（无标签训练）：1（测试） 在情感2分类服装的数据集上初步结果如下： 小模型（textcnn＆bilstm）准确率在0.80〜0.81 BERT模型准确率在0.90〜0.91 蒸馏模型准确率在0.87〜0.88 实验结果与论文某些基本一致，与预期相符 后续将尝试其他更有效的蒸馏方案 使用方法 首先finetune BERT python ptbert.py 然后把BERT的知识蒸馏到小模型里
BERT知识蒸馏Distilled BiLSTM
null的专栏
09-16 1050
Distilled BiLSTM是对于知识蒸馏较为一般性的实践，将BERT模型（Teacher）蒸馏到一个简单的BiLSTM模型（Student），蒸馏的目标函数中的蒸馏loss也是采用了对比logits结果的差异。虽然理论上较为简单，但是最终的结果是与与ELMo模型具有相同的效果，说明知识蒸馏的方法的有效性。在BiLSTM中，多个隐层状态的融合有不同的方法，如上面直接用最后一个隐层状态作为最终的状态，实际上，可以使用Attention的方法综合多个隐层状态作为最终的状态能够进一步增强模型的效果。
BERT等复杂深度学习模型加速推理方法——模型蒸馏
sgyuanshi的博客
08-11 1183
参考《Distilling the Knowledge in a Neural Network》Hinton等 蒸馏的作用 首先，什么是蒸馏，可以做什么？ 正常来说，越复杂的深度学习网络，例如大名鼎鼎的BERT，其拟合效果越好，但伴随着推理（预测）速度越慢。 此时，模型蒸馏酒派上用场了，其目的就是为了在尽量减少模型精度的损失的前提下，大大的提升模型的推理速度。 实现方法 其实，模型蒸馏的思想很简单。 第一步，训练好原本的复杂网络模型，如BERT，我们称为Teacher模型； 第二步，用一个较为简单的模型去拟
毕业设计-基于 BERT-CNN知识蒸馏方法的新闻文本分类系统
Hai_Lang_IT的博客
03-14 1188
毕业设计-基于 BERT-CNN知识蒸馏方法的新闻文本分类系统：近年来，随着大数据时代进入人类的生活之后，人们的生活中出现很多无法识别的文本、语义等其他数据， 这些数据的量十分庞大，语义也错综复杂，这使得分类任务更加困难。如何让计算机对这些信息进行准确的分类， 已成为当前研究的重要任务。在此过程中，中文新闻文本分类成为这个领域的一个分支，这对国家舆论的控制、用 户日常行为了解、用户未来言行的预判都有着至关重要的作用。针对新闻文本分类模型参数量多和训练时间过长的 不足，在最大限度保留模型性能的情况下压缩训练时
bert模型蒸馏实战
donruo的博客
06-30 1420
由于bert模型参数很大，在用到生产环境中推理效率难以满足要求，因此经常需要将模型进行压缩。常用的模型压缩的方法有剪枝、蒸馏和量化等方法。比较容易实现的方法为知识蒸馏，下面便介绍如何将bert模型进行蒸馏。一、知识蒸馏原理模型蒸馏的目的是用一个小模型去学习大模型的知识，让小模型的效果接近大模型的效果，小模型被称为student，大模型被称为teacher。知识蒸馏的实现可以根据teacher和student的网络结构的不同设计不同的蒸馏步骤，基本结构如下所示： 损失函数需要计算两个部分，cross entr
BERT 蒸馏在垃圾舆情识别中的探索.pdf
09-18
总的来说，BERT蒸馏在垃圾舆情识别中的探索是一种有效结合大模型优势和小模型效率的方法，通过知识迁移，实现了模型的轻量化和高性能，这对于互联网环境下的实时信息处理有着重大意义。这种技术的不断发展和完善，将...
大语言模型在金融风控中的应用
AI天才研究院
03-09 535
金融风控是金融机构确保其资产安全和业务稳定的重要手段。随着金融市场的复杂性和交易量的增加，传统的风控方法已难以应对日益增长的风险。近年来，随着大数据和人工智能技术的快速发展，金融风控领域逐渐引入了新的技术手段，其中大语言模型的应用尤为引人注目。大语言模型（Large Language Models, LLMs）通过在大规模文本数据上进行预训练，具备了强大的语言理解和生成能力。这些模型不仅能够处理结构化数据，还能从非结构化文本中提取有价值的信息，从而为金融风控提供了新的解决方案。
BERT 蒸馏在垃圾舆情识别中的探索
阿里云开发者
07-17 1580
简介：近来 BERT等大规模预训练模型在 NLP 领域各项子任务中取得了不凡的结果，但是模型海量参数，导致上线困难，不能满足生产需求。舆情审核业务中包含大量的垃圾舆情，会耗费大量的人力。本文在垃圾舆情识别任务中尝试 BERT 蒸馏技术，提升 textCNN 分类器性能，利用其小而快的优点，成功落地。近来 BERT等大规模预训练模型在 NLP 领域各项子任务中取得了不凡的结果，但是模型海量参数，导致上线困难，不能满足生产需求。舆情审核业务中包含大量的垃圾舆情，会耗费大量的人力。本文在垃圾舆情识别任务中尝试 B
知识蒸馏基础及Bert蒸馏模型
小白胖爱学习-的博客
04-05 4418
为了提高模型准确率，我们习惯用复杂的模型（网络层次深、参数量大），甚至会选用多个模型集成的模型，这就导致我们需要大量的计算资源以及庞大的数据集去支撑这个“大”模型。但是，在部署服务时，就会发现这种“大”模型推理速度慢，耗费内存/显存高，这时候我们又会想念“小”模型的好。那么，有没有一种方法能够尽可能继承大模型的泛化能力，又像小模型一样轻量级呢？今天来介绍一种模型压缩的方法——蒸馏（Distillation）。
【论文笔记】Distilling Task-Specific Knowledge from BERT into Simple Neural Networks
weixin_43643246的博客
06-15 2172
为什么引入Bert的蒸馏 Bert在很多NLP上的效果都很不错，但是在落实在实际应用上，我们要考虑其所需要的内存空间和计算资源，Bert模型很大，相对来说计算量也很大，不适用于实时的任务当中。所以针对这个问题，我们对Bert模型提出了蒸馏，希望通过蒸馏将Bert的表征能力distill到小模型当中。 【注】压缩模型的手段 模型蒸馏 distillation 用大模型学习到的知识去训练小模型，使小模型具有大模型的效果 量化 quantization 降低大模型的精度，减小模型 剪枝 pruning 去掉模型
Distilling transformers into simple neural networks with unlabeled transfer data论文解读
liaoshenglan的博客
02-28 875
Distilling transformers into simple neural networks with unlabeled transfer data 论文地址：https://arxiv.org/pdf/1910.01769.pdf motivation 一般来说，蒸馏得到的student模型与teacher模型的准确率还存在差距。文章利用大量in-domain unlabeled t...
bert蒸馏
爱吃火锅的博客
11-21 602
交互/表示模型 交互模型： 两句话拼接成一句话，缺点就是长度弄不了太长，线上性能也压力大，优点就是两句话交互编码更加充分 表示模型：两句话分别进bert模型，所以是双塔模型，优点就是单句长度可以更长，线上也可以做到更好，因为其中一个bert边的向量可以保存，用的时候直接取。缺点就是两句话交互性其实比较弱，都是单独编码，只在最后一层取两个向量计算相似性。一个可以稍微缓解这种交互性的方案就是Poly-encoder,比如两个Bert最后输出的hidden_size是768，那么可以将其分成12个头head，
NLP：BERT NER实体识别部署运行笔记
热门推荐
God丶Davide的博客
06-02 3万+
趁有时间，好好整理整理一些NLP算法
深入理解BERT Transformer ，不仅仅是注意力机制
03-19 879
大数据文摘与百度NLP联合出品作者：Damien Sileo编译：张驰、毅航、龙心尘BERT是google最近提出的一个自然语言处理模型，它在许多任务检测上表现非常好。如：问答、自然语言推断和释义而且它是开源的。因此在社区中非常...
BERT蒸馏完全指南｜原理/技巧/代码
zenRRan的博客
11-05 1880
来自：李rumor小朋友，关于模型蒸馏，你是否有很多问号：蒸馏是什么？怎么蒸BERT？BERT蒸馏有什么技巧？如何调参？蒸馏代码怎么写？有现成的吗？今天rumor就结合Distilled...
【PaddleNLP】恶意网页识别（五）：用BERT识别恶意网页内容
myaijarvis notebook
05-20 953
【参考：使用PaddleNLP进行恶意网页识别（五）：用BERT识别恶意网页内容 - 飞桨AI Studio】 代码更新，仿造pytorch，特此记录 import os import sys import codecs # 编码转换 import chardet # 第三方编码检测模块 import shutil import re import time import numpy as np import pandas as pd import jieba from tqdm import tqdm,
模型压缩与蒸馏！BERT家族的瘦身之路
zenRRan的博客
02-27 344
点击上方，选择星标，每天给你送干货！作者|许明整理|NewBeeNLP公众号之前我们讨论了『模型压缩与蒸馏！BERT的忒修斯船』，算是一个开篇。本文继续讨论关于模型蒸馏（D...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值