FLiText: A Faster and Lighter Semi-Supervised Text Classification with Convolution Networks

最新推荐文章于 2024-08-08 17:45:51 发布
最新推荐文章于 2024-08-08 17:45:51 发布
阅读量920 收藏 1
点赞数 1
分类专栏： 低资源本文分类 文章标签： 深度学习 神经网络 cnn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36618444/article/details/122765839
版权
FLiText是EMNLP2020提出的一种新方法，它使用卷积网络实现轻量级、快速的半监督文本分类。通过激励网络（如BERT）和目标网络（TextCNN）的两阶段学习，结合一致性正则化和特征蒸馏，实现了在少量标注数据上的高效学习。实验表明，FLiText在不同设置下都能获得良好效果。
摘要由CSDN通过智能技术生成

在这里插入图片描述
本文发表于EMNLP2020。
本文提出了一个基于卷积模型的蒸馏方法，实现了一个轻量级的、快速的半监督文本分类框架FLiText，相比于Bert等大规模预训练模型，蒸馏模型更具备实际应用价值。
在这里插入图片描述

Method

模型总体的框架如下，大致分为激励网络和目标网络两部分：
在这里插入图片描述
激励器网络（预训练语言模型）利用一致性正则化和数据增强技术，充分挖掘未标记数据和有限标记数据中的信息和特征。然后在输出和隐藏空间两层提供正则化约束，引导轻量级目标网络仅使用少量标记数据实现高效的半监督学习。
本文使用 X = ( x i

了解本专栏 订阅专栏 解锁全文 超级会员免费看
五月的echo
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
参考论文1：SSDA-YOLO: SEMI-SUPERVISED DOMAIN ADAPTIVE YOLO FOR CROSS
06-04
现有的DAOD方法大多依赖于计算密集型的两阶段目标检测框架Faster R-CNN，这不仅耗时且不适合工业应用的需求。因此，寻找一种更高效的方法变得尤为重要。 #### SSDA-YOLO介绍 针对上述挑战，本文提出了一种新颖的半...
论文简读：Semi-Supervised Text Classification with Balanced Deep Representation Distributions
baiwan_的博客
08-20 502
这篇论文提出了一种新的半监督文本分类的训练方法：核心思想是不仅要考虑伪标签表示的最大分量，还要考虑为标签表示的方差。实现表明，对于半监督训练来说，标签角度方差的均值远大于监督训练： 该方法考虑了标签角度方差，在多个数据集中取得SOTA效果。 ...
基于深度学习的文本分类综述
qq_40377498的博客
04-19 4918
《Deep Learning Based Text Classification: A Comprehensive Review》总结笔记。 1.序章 基于深度学习的文本分类模型在情感分析、新闻分类、问答和自然语言推理等多种文本分类任务中已经超越了经典的基于机器学习的方法。论文在回顾150多种深度学习模型后，分类简单讲述了多种文本分类模型，涵盖了基于前馈神经网络的模型、基于RNN的模型、基于CNN...
深度学习文本分类文献综述（翻译自Deep Learning Based Text Classification: A Comprehensive Review）
qq_41978896的博客
02-01 4706
深度学习文本分类文献综述摘要介绍1. 文本分类任务2．文本分类中的深度模型2.1 Feed-Forward Neural Networks2.2 RNN-Based Models2.3 CNN-Based Models2.4 Capsule Neural Networks2.5 Models with Attention Mechanism2.6 Memory-Augmented Networks2.7 Transformers2.8 Graph Neural Networks2.9 Siamese Neu
论文阅读：SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS
qq_45402748的博客
12-27 729
论文阅读：SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS目录Abstract1.INTRODUCTION2.FAST APPROXIMATE CONVOLUTIONS ON GRAPHS2.1 Spectral Graph Convolutions2.2 Layer-Wise Linear Model3 Semi-Supervised Node Classification3.1 Example3.2 Implementati
论文笔记-supervised and semi-supervised text categorization using LSTM for region embedding
alisonxPandas的博客
06-06 1268
Rie Johnson, Tong Zhang, 2016 摘要—— 用LSTM代替CNN实现’region embedding + pooling’设计，在全监督和半监督中都可以用。 Introduction—— 1.text categorization is the task of assigning labels to documents written in a natural ...
Flexible-and-separable-convolution-for-a-better-faster-and-lighter-architecture
04-06
标题“Flexible-and-separable-convolution-for-a-better-faster-and-lighter-architecture”所提及的是一个关于优化CNN架构的研究，它引入了灵活且可分离的卷积技术，旨在提高模型性能的同时降低计算复杂度和资源...
Faster-RCNN-with-torchvision:使用Torchvision重新实现Faster-rcnn
05-04
Faster-RCNN-with-torchvision通过pytorch torchvision官方提供的模块构建Faster-RCNN，供检测及学习使用。代码博客解析地址：模型地址：安装代码及环境搭建$ git clone ...
Smoothie: Type Faster on Any Website-crx插件
04-03
语言:English 使用AI句子预测和自定义文本模板可以更快地键入内容 思慕雪是一种写作助手，可帮助您在任何网站上更快地键入内容。 就像Gmail的Smart Compose功能一样，但是可以在任何网站上使用。...
文献记录－ADVERSARIAL TRAINING METHODS FOR SEMI-SUPERVISED TEXT CLASSIFICATION
weixin_42681868的博客
06-24 1020
文献地址： https://arxiv.org/pdf/1605.07725.pdf 摘要： ＂对抗训练＂提供了一种正则化的监督学习算法． ＂虚拟对抗训练＂能够将监督学习算法拓展到半监督学习的环境中． 两者都是对输入向量进行较小的扰动，不适用于稀疏高维的输入向量． 从而提升泛化能力． 简介： 先前的对抗训练主要应用与图像分类，本文中要拓展到文本分类任务和序列模型． 本文的对抗训练就是对输入相连进行小的修改． 模型： 如上图左边是一个常规的双向LSTM,输入的稀疏向量w 被转化为连续向量v时候，输入到ＬＳ
(BO)Bayes-CNN多变量时序预测 基于贝叶斯算法-卷积神经网络多变量时序预测（多输入单输出）Matlab代码
最新发布
small_ccb的博客
08-08 283
Bayes-CNN多变量时序预测 基于贝叶斯算法-卷积神经网络多变量时序预测（多输入单输出）Matlab代码。2️⃣、评价指标包括:R2、MAE、MSE、RMSE等，图很多，符合您的需要。4️⃣、赠送测试数据集，可以直接运行源程序。替换你的数据即可用 适合新手小白。1️⃣、运行环境要求MATLAB版本为2018b及其以上。数据格式为excel！3️⃣、代码中文注释清晰，质量极高。需要其他的都可以定制！
深度学习 —— 个人学习笔记14（ResNet、DenseNet）
Springer的博客
08-06 364
本文章为个人学习使用，版面观感若有不适请谅解，文中知识仅代表个人观点，若出现错误，欢迎各位批评指正。文中部分知识参考：B 站 —— 跟李沐学AI；
【深度学习】【语音】TTS，Matcha-TTS，测试效果，训练中文，chinese
q742971636的博客
08-08 150
即使使用较小的数据集（特别是如果这是一个录音棚录制的朗读语料库），也可以有效。然而，在这种情况下，微调通常会比从头开始训练效果更好，因此，你可以先在更大的数据集上进行训练，然后对你的特定数据集进行微调。一般来说，我更倾向于将所有音频文件重新采样到 22050 采样率，而不是更改音频参数，因为这样可以解决寻找不同声码器的问题。（同样，我没有在大多数其他数据集上进行训练的经验，但你可以在这里更改音素化语言。中添加的步骤为你的数据集生成均值和标准差（以便更好的标准化）。的默认值，并覆盖你特定数据集所需的部分。
基于深度学习的Dst 预报模型
u014546828的博客
08-07 914
The Astrophysical Journal Supplement Series, 248:14 (11pp), 2020 MayPrediction of the Dst Index with Bagging Ensemble-learning Algorithm (iop.org)AbstractThe Dst index is a commonly geomagnetic index used to measure the strength of geomagnetic activity. Th
[区间概率预测]CNN-BiLSTM-Attention-ABKDE多变量时序预测 基于改进自适应核密度估计实现区间预测
small_ccb的博客
08-08 281
【原创区间概率预测】CNN-BiLSTM-Attention-ABKDE多变量时序预测 基于卷积神经网络-双向长短期记忆神经网络-注意力机制结合自适应带宽核函数密度估计的多变量时序预测【点预测+概率预测+核密度估计】1️⃣、结果包含R2、MAE、RMSE、MAPE、区间覆盖率picp、区间平均宽度百分比pinaw等，置信区间可根据需要调整。CNN-BiLSTM-Attention-ABKDE多变量时序预测 基于改进自适应核密度估计实现区间预测。数据格式为Excel!3️⃣、代码中文注释清晰，质量极高。
深度学习8--无监督学习
m0_63860007的博客
08-07 891
无监督学习是机器学习的一个分支，用于发现数据中的特定模式。无监督算法的数据都是没有标签的，也就是说，只有x_train,但是没有给y_train。在无监督的学习中，算法需要自行寻找数据中的结构。传统的无监督学习主要有3种类型。发现数据中共同出现的概率。比如数据有ABC 3个特征，经过分析发现当A出现时，B一定出现，这样A和B之间存在共现的关系。。降低维度。同样地，假设数据有A、B、C 3个特征，通过降维，把3列特征降维成两列特征DE。在一定程度上，
使用LoRA微调LLaMA3
weixin_47552266的博客
08-07 1044
在这个案例中，我们将使用LoRA微调LLaMA3模型，进行一个文本分类任务。我们将使用Hugging Face的Transformers库来完成这个过程。
深度学习四大框架之争(Tensorflow、Pytorch、Keras和Paddle)
FeelTouch Labs
08-08 1927
近几年，随着深度学习指数级发展，深度学习的框架使用在人工智能领域也起着举足轻重的作用，这其中包括Tensoflow、Pytorch、Keras、paddle等等。那么面对这些框架，究竟使用哪个呢？其实，这几个框架都有各自的优点和缺点，大家了解后可以根据自己的情况进行选择；现在Keras API都融入tensorflow2.0进去了，因此学tensorflow就行，而paddle是百度推出的，且资料很资源最多，百度也开源了许多优秀的模型，值得推荐。（个人推荐tf、torch、paddle）
Nature Medicine：基于图像的深度学习和语言模型用于原发性糖尿病护理
u014546828的博客
08-07 856
为了解决糖尿病护理中存在的差距，我们开发了一种创新的系统DeepDR-LLM，它将一个LLM模块和一个基于图像的DL模块结合在一起，提供全面的初级糖尿病护理和DR筛查方法。糖尿病视网膜病变（DR）是最常见的糖尿病特定并发症，影响30-40%的患有糖尿病的人群11,12,13，并且仍然是经济活跃、工作年龄成人失明的主要原因11,14,15。然而，在低资源环境下，由于基础设施、人力资源和可持续性具有成本效益的DR筛查计划匮乏，往往忽视了DR筛查在低收入国家中不足之处。
faster r-cnn: towards real-time object detection with region proposal networks
06-28
Faster R-CNN是一种基于区域建议网络（Region Proposal Networks，RPN）的物体检测算法，旨在实现实时物体检测。它通过预测每个区域是否含有物体来生成候选框，并使用卷积神经网络（CNN）来确定候选框中的物体类别。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

五月的echo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值