ContextualizedWeak Supervision for Text Classification，ACL2022

最新推荐文章于 2022-11-28 17:46:57 发布
最新推荐文章于 2022-11-28 17:46:57 发布
阅读量1k 收藏 1
点赞数
分类专栏： 低资源本文分类 文章标签： 机器学习 深度学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36618444/article/details/123115834
版权
本文提出ConWea框架，利用BERT生成词的上下文化表示，通过聚类和种子词扩展解决文本分类中的语义模糊和上下文依赖问题。通过迭代训练，提升半监督文本分类性能。
摘要由CSDN通过智能技术生成

在这里插入图片描述
在以生成标签对应关键词为核心思想的半监督文本分类中，现有的大多数方法都以一种与上下文无关的方式生成伪标签，因此，人类语言的模糊性和上下文依赖性一直被忽视。本文利用词出现的上下文化表示和种子词信息来自动区分同一词的多种解释，从而创建上下文化语料库，该语境化语料库进一步以迭代的方式训练分类器和扩展种子词，最终提升半监督文本表示的性能。

Overview

问题的定义还是那几种符号，跳过：
在这里插入图片描述
本文提出了一个框架，ConWea，构建语境话的弱监督模型。在这里，语境化体现在两个方面:语料库和种子词。因此，相应地开发了两种新技术来实现这两种语境化。

  • 选择BERT作为实现中的一个例子，以生成每个word occurrence的上下文化向量。这里的word occurrence可以理解为一个词的不同分身，用来表示一个相同的单词在不同句子、上下文中出现所体现的语
了解本专栏 订阅专栏 解锁全文 超级会员免费看
五月的echo
关注
专栏目录
订阅专栏
Cluster & Tune: Boost Cold Start Performance in Text Classification，ACL2022
qq_36618444的博客
05-01 886
在真实的场景中，当标记数据稀缺时，文本分类任务通常存在冷启动的现象（也就是标记文本数量太少时很容易过拟合）。本文提出了一种方法来提高这类模型的性能，即在预处理阶段和微调阶段之间增加一个中间的无监督分类任务。作为中间任务，进行聚类，并训练预训练模型预测聚类标签。本文在各种数据集上测试了这个假设，结果表明，当可用于微调的标记实例数量只有几十到几百个时，这个额外的分类阶段可以显著提高性能，主要是针对主题分类任务。 之所以可以这样做，因为合理的中间任务有望为最后的微调阶段提供一个更好的起点，在目标任务可用的稀缺标.
Joint Embedding of Words and Labels for Text Classification（ACL 2018）
lime_1002的博客
03-22 5022
论文原文： https://arxiv.org/abs/1805.04174 代码链接： https://github.com/guoyinwang/LEAM 论文动机： 标签嵌入（Label embedding ）已被证明在多个领域和任务中是有效的。在CV中，已经有大量关于利用标签嵌入进行图片分类、图像和文本间的多模态学习、图像中的文本识别的研究。 有大量关于词嵌入的研究...
ACL2020：Contextualized Weak Supervision for Text Classification
zhang_han666的博客
10-29 618
Contextualized Weak Supervision for Text Classification 基于上下文的弱监督文本分类
【ACL2020】基于语境的文本分类弱监督学习
zenRRan的博客
01-12 805
作者：丁磊 (北京工业大学)paper: Contextualized Weak Supervision for Text Classification高成本的人工标签使得弱监督学习备受...
ACL2022 | KPT: 文本分类中融入知识的Prompt Verbalizer
zenRRan的博客
06-16 2860
每天给你送来NLP技术干货！来自：TsinghuaNLP学术速递背景利用Prompt Learning（提示学习）进行文本分类任务是一种新兴的利用预训练语言模型的方式。在提示学习中，我们需要一个标签词映射（verbalizer），将[MASK]位置上对于词表中词汇的预测转化成分类标签。例如{POLITICS: "politics", SPORTS: "sports"} 这...
ACL2020论文分享：基于上下文的弱监督文本分类
u012032041的博客
10-13 2234
1 前言 今天分享一篇关于文本分类的paper，论文来自2020ACL会议，其主要思想是：基于上下文的弱监督方法进行文本分类。论文标题为：Contextualized Weak Supervision for Text Classification，论文下载链接，论文也开源了代码。今天分享的这篇paper在内容上，与我之前分享的一篇2019ACL的paper——无监督文本分类(Towards Unsupervised Text Classification Leveraging Experts and Wo
【作者代码】Adversarial Multi-task Learning for Text Classification-ACL 2017
06-12
论文题目：Adversarial Multi-task Learning for Text Classification 作者：Pengfei Liu, Xipeng Qiu and Xuanjing Huang 出处：ACL 2017 论文主要相关：多任务学习、文本分类、情感分析 概要：常规的多任务...
Recurrent Neural Network for Text Classification with Multi-Task Learning
lpty的博客
12-05 4010
引言 Pengfei Liu等人在2016年的IJCAI上发表的论文，论文提到已存在的网络都是针对单一任务进行训练，但是这种模型都存在问题，即缺少标注数据，当然这是任何机器学习任务都面临的问题。 为了应对数据量少，常用的方法是使用一个无监督的预训练模型，比如词向量，实验中也取得了不错的效果，但这样的方法都是间接改善网络效果。 作者提出了一种新的方法，将多个任务联合起来训练，用来直接对网络进行改善，...
论文阅读总结（Graph Convolutional Networks for Text Classification）
shandler的博客
11-23 1785
Graph Convolutional Networks for Text Classification（用于文本分类的图卷积网络） 论文：https://arxiv.org/abs/1809.05679v1 推荐继续阅读：Every Document Owns Its Structure: Inductive Text Classification via Graph Neural Networks 摘要：作者介绍了其TextGCN的方法，作者在语料库中构建图，其构图方式是：词节点与词节点之间连边，同时词
[ACL2022] Text Smoothing: 一种在文本分类任务上的数据增强方法
shawroad的博客
08-31 1363
论文链接: https://arxiv.org/abs/2202.13840。
A Contrastive Learning Approach for Hierarchy Text Classification，ACL2022
qq_36618444的博客
04-30 1506
Introduction Hierarchical Text Classification（HTC）是指文本标签之间存在层次结构文本分类任务。不同的标签之间存在的潜在关联会为分类提供正向指导。一般来说，HTC大致可以分为两类：为每个节点或级别构建分类器的局部方法，仅为整个图构建一个分类器的全局方法。 本文提出一种用于层次文本分类的对比学习方法。Hierarchy guided Contrastive Learning (HGCLR)直接将分层嵌入到文本编码器中而不是单独地创建层次的结构。在训练过程中，HG.
【ACL 2022】Text Smoothing：针对文本分类任务的数据增强方法
PsyQuant
11-28 1617
数据增强一直都是CV、NLP领域广泛应用的技术，尤其是在数据资源极少的情况下。简单来说，就是扩充训练集的规模来缓解过拟合的问题，提高深度神经网络的鲁棒性。在NLP领域，数据增强的方法通常有: 1）对文本进行增删改；2）回译（翻译到一种语言再翻译回来）；3）通过 dropout；4）mixup 技术等。Text Smoothing（文本平滑）。论文：《》数据增强省时省力，如果能够模拟出接近真实样本的分布，确实不失为一种好方法。
ACL2022 自监督文本表示新框架ArcCSE
淘系技术
04-12 1303
学习高质量文本表示是NLP的基础任务之一，可应用于大量的下游任务。尽管像BERT之类的预训练语言模型获得了巨大成功的，但在文本语义相似任务中，直接用其获取的文本表征往往效果欠佳。最近一些基于对比学习的文本表示建模方法取得了不错的效果，但这些方法更多关注于正负表征对的构建，对训练目标优化不足。如先前工作普遍采用的NT-Xent loss，判别能力不足且无法建模文本间的语义偏...
ACL2020-最新录用论文列表分享
lqfarmer的博客
05-30 3566
ACL会议（Annual Meeting of the Association for Computational Linguistics）是自然语言处理与计算语言学领域最高级别的学术会议，由计算语言学协会主办，每年一届。 计算语言学协会（ACL）第58届年会将于2020年7月5日至7月10日在网上举行，本届会议共有571篇长论文和208篇短论文被接受。 ACL是计算语言学领域的主要会议，涵盖了与自然语言的计算方法有关的广泛的不同研究领域。本文整理分享ACL2020相关一些论...
按主题分类的自然语言处理文献大列表
SimonChen
05-07 6583
https://github.com/changwookjun/nlp-paper
论文Multi-Source Weak Supervision for Saliency Detection代码运行
jingtingxu369的博客
10-10 1404
0. 搭建conda虚拟环境，Python=3.6，用conda install 安装：pytorch=0.4.1，torchvision=0.2.1，Pillow，其余的运行main.py缺啥补啥。 conda会自动用服务器上的cuda和cudnn，不用自己安装。具体代码： conda create -n mws python=3.6 # 构建conda虚拟环境 ...
【ACL2020】用于改进文本分类的特征投影
zenRRan的博客
03-03 1912
点击上方，选择星标，每天给你送干货！作者：云不见学校：华南师范大学paper：Feature Projection for Improved Text Classification. AC...
How to Fine-Tune BERT for Text Classification?
最新发布
05-19
Fine-tuning BERT for text classification involves the following steps: 1. Prepare your dataset: You need to prepare your dataset in a format that BERT can understand. For text classification, the input format consists of a pair of text sequences - the input text and the corresponding label. 2. Preprocess your dataset: You need to preprocess your dataset by tokenizing the text, adding special tokens ([CLS] and [SEP]), and converting the tokens to their corresponding IDs. 3. Load the pre-trained BERT model: You can use the pre-trained BERT model provided by Google or any other pre-trained BERT model and load it into memory. 4. Fine-tune the BERT model: You can fine-tune the BERT model by training it on your dataset. During training, you can adjust the hyperparameters such as the learning rate, batch size, and number of epochs. 5. Evaluate the model: After training, you can evaluate the model on a separate validation set to see how well it performs. You can use metrics such as accuracy, precision, recall, and F1 score to evaluate the model. 6. Test the model: Once you are satisfied with the performance of the model, you can use it to make predictions on new, unseen data. Overall, fine-tuning BERT for text classification is a powerful technique that can achieve state-of-the-art results on a wide range of NLP tasks.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

五月的echo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值