- 博客(32)
- 收藏
- 关注
RSS订阅原创 Label-Specific Document Representation for Multi-Label Text Classification笔记
这篇文章是发布在2019年的EMNLP上的文章，这篇文章被多个模型作为baseline，所以将这个模型的具体内容拿过来看一下，如果可以，以后可以在这篇文章进行一个baseline的比较；
2023-04-27 20:28:43
194
原创 Label-Specific Dual Graph Neural Network for Multi-Label Text Classification笔记
这篇文献是发布在IJNLP2021，ACL上的一篇处理多标签分类的文章；
2023-04-20 21:15:30
263
原创 Enhancing Label Correlation Feedback in Multi-Label Text Classification via Multi-Task Learning笔记
1. 首先，这篇文章在一开始的时候提到，之前的一些考虑通过标签相关性的方法有分类器链的方法还有序列到序列的方法，但是这些方法可能会收到标签的顺序依赖问题、标签结合过拟合以及错误的传播问题；2. 为了解决上面的这些问题，本文中提到的方法是通过多任务学习来提升标签相关性上的反馈； 1. 首先，利用联合嵌入机制分别获取文本和标签的表示，通过使用文档-标签型的注意力机制从而捕获到更具有辨别性的文档表示 2. 之后，通过两种辅助的多标签共现预测任务提升标签共现学习。 - 一种是 Pairw
2023-04-19 11:13:27
207
原创 Contrastive Learning-Enhanced Nearest Neighbor Mechanism for Multi-Label Text Classification
在MLTC任务中在这篇文章以前大多使用的方法是关注到文本的表示，；要么就是注意到相关；但是这些内容都没有注意到，通过相似实例之间的有可能相似的实例标签可以给本实例的标签提供辅助的标记作用；文中就使用了，最终将周围这些相近的邻居的label信息放到本test sample中，用来辅助当前sample的标签分类任务；但是这种情况可能对于标签预测的时候，，从而影响模型的性能，这里使用的方法是，；这里的模型同时还考虑了对于；模型中使用了对比学习系数β使得模型在学习的时候可以捕捉到更加细粒度的标签关联性信息。
2023-04-17 14:29:50
359
原创 Self-Supervised Meta-Learning for Few-Shot Natural Language Classification Tasks
文中提到，将大规模预训练语言模型在小规模数据集上fine-tuning时，数据不充分不能够取得很好的效果的这种情况认为是一大挑战。作者认为这将是一种few-shot Learning，因为这种情况就被称为是训练和测试集的模型不匹配问题，在进行微调的时候不能够学习到一个很好的初始化参数，同时进行fine-tuning的时候还要引入一些额外的参数，这就导致在本就不多的特定任务的数据集上很难习得很少的模型结果；文中对于上面挑战，提到的解决办法是使用meta-learning的思想，让。
2023-04-17 14:28:21
180
原创 Multi-label Few and Zero-shot Learning with Knowledge Aggregated from Multiple Label Graphs
首先，在前言部分中重点是描述了多标签分类任务对于CV领域和NLP领域中的许多应用产生了深远的影响，但是由于标签数量的指数型增长以及标签组合产生的不同标签集的多样性，从而导致了这种任务变得具有挑战性；文中重点阐述了多标签分类中不得不面对的两个问题：一个是few-shot问题，另一个是zero-shot问题；下面为了引出文中的做出的主要贡献点，文中提出每一个标签的诞生都是自然而然的带有结构化信息，这种结构化信息可以捕捉到不同的标签的之间的相关性信息；
2023-04-12 19:29:32
117
原创 Meta-LMTC--- Meta-Learning for Large-Scale Multi-Label Text Classification
首先，这个模型是分成两个部分，第一个部分是元学习阶段，第二个部分是Fine-tuning阶段。文中对于元学习阶段进行了详尽的描述：如下图中所示：输入的数据有用来实现LTMC任务的数据集D，以及局部学习率。
2023-04-11 11:27:43
168
原创 Label prompt for multi-label text classification笔记
这篇文章是使用Prompt在多标签文本分类上的一篇发在Springer Nature上的文章，模型名称LP-MTC
2023-04-07 17:35:10
367
原创 Multi-Label Classification of Microblogging Texts Using Convolution Neural Network笔记
由于微博文章所具有的这些特征表明这种类型的data也是短文本数据，所以文中提到这种数据进行多标签分类任务具有的重大难点就在于：数据的稀疏性问题以及维度灾难问题；针对于这种数据处理任务的场景下，文中提出的短文本多标签处理模型的架构是基于CNN的处理架构，这种架构充分利用来自于通用领域的词向量信息和特定领域的词向量信息。这些词向量被分别独立使用，同时通过CNN不同通道的结合方式最终完成对于类标签的预测任务；文中在进行对比实验的时候，将本文中提出的模型和传统的机器学习算法以及现存的CNN的一些架构的方法进行了
2023-04-03 20:57:53
97
原创 HFT-CNN-Learning Hierarchical Category Structure for Multi-label Short Text Categorization笔记
这篇文章是发布于2018年的用来实现短文本多标签的文章，这篇文章的主题思想是通过构建一个层次结构来实现高效的多标签分类任务；
2023-03-30 17:25:15
136
原创 Multi-label Classification of Short Texts with Label Correlated Recurrent Neural Networks笔记
这篇文章的处理背景，首先是由于应用场景的需求，在一些场景下，一些短文本仍然是具有多个标签的，但是由于上下文的稀疏性以及词的共现率太低，并且对于短文本进行分类处理任务不能像普通的文本那样具有丰富的上下文语义的共享产生，所以之前的一些传统的用于处理短文本单标签的一些方法可能对于处理短文本多标签来来说性能较差。
2023-03-27 17:25:29
73
原创 Multi-label Classification of Short Text Based on Similarity Graph and Restart Random Walk Model笔记
总之文中的SGaRWSGaRW 模型的工作流程就是，首先，通过依靠外部的信息WordNet加上本身的short text信息和label信息最终构建出这样的一个Similarity Graph，用这个图表示label和text之间的初始概率信息，以及标签之间的依赖性信息；通过重启随机步机制来计算对于一个sample的最终稳定标签向量，这个向量中的元素信息表示该标签是这个实例的label的概率
2023-03-26 16:38:33
72
原创 A Review on Multi-Label Learning Algorithms笔记
1. 这篇综述中主要提到了对于近十几年的多标签分类的工作进度，这篇综述是2014年发表在IEEE上的， 1. 首先，讲的是多标签学习的基础——包括有它的形式定义和评估指标； 2. 其次也是文中最重要的是，将会给出八个代表性的多标签学习算法； 3. 最后，将会给出相关的一些学习设置，同时将会给出领域中的相关研究问题；
2023-03-17 17:02:30
205
原创 文献阅读——Heterogeneous Graph Attention Networks for Semi-supervised Short Text Classification
本篇文章中文中很巧妙的使用了多种不同type的信息，并且完美的将这些信息融合在一起，这里使用了一个HIN技术；然后为了很好的适配我们在之前已经提取好的HIN信息，这里使用的方法是异构图神经网络（HGCN），文中又为了进一步提升对于重要信息的关注程度，使得他们的权重部分增加，以及使得不重要部分的权重减少（即消除噪声部分），文中使用了两级注意力机制（Dual-level Attention）同时实验部分表明，GCN可以很好地解决半监督场景下的short text classification问题。
2023-01-12 17:15:31
311
原创 文献阅读——Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for TC
这篇文章的书写动机无非就是为了解决TC问题，然后呢，加上一点就是通过引入外部的KBs中的知识来使得我们的最终分类的效果更上一层楼。
2023-01-01 22:08:19
292
原创 文献阅读——Incorporating Context-Relevant Knowledge into Convolutional Neural Networks for STC
这篇文章中使用的方法其实就是在一些引入外部知识的model加了一个Attention机制，通过获取真正和short Text中word相关的前10个concept进行注意力计算，从而得到一个有效的concept再联合text一起输入到CNN实现分类目标。
2022-12-29 22:01:31
184
原创 集成模型ensemble model总结
这里对于在ML中经常使用到的集成学习模型中经常使用的三种集成学习方法，以及集成学习的中的一些小概念，还有对于不同的基模型有什么样的结合策略，从而进行总结。另外，这篇总结是参考了周志华老师的“西瓜书”总结出来的知识点，如果有需求，可以去翻阅原书。
2022-12-28 21:10:25
1077
原创 文献阅读——A survey of pre-processing techniques to improve short-text quality: a case study on hate spee
文中重点论述了在文中总结的这些single model中使用哪些single model进行结合，以及什么样的顺序结合可以取得最好的结果。文中进行了表述。
2022-12-27 21:43:06
126
原创 文献阅读 ——— Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in NLP
这篇文章的编写的动机是为了总结NLP的第四范式Prompt Learning
2022-12-24 11:54:46
422
原创 文献阅读——Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
首先对于这篇文献主要解决的问题是few-shot文本分类问题，同时在文中也是提到了文中提到的方法加以改进亦可以做到zero-shot方面的文本分类问题上来。
2022-12-23 21:19:55
205
原创 文献阅读——Using Multi-level Attention Based on Concept Embedding Enrichen Short Text to Classification
文献使用的方式是使用C-ST和C-CS这两种注意力机制相结合使用的方式来提升性能短文本分类的性能。
2022-12-18 23:04:10
66
原创 文献阅读——BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
BERT开山之作文献阅读笔记
2022-12-17 16:27:45
222
原创 文献阅读笔记 Chinese Short Text Classification with Mutual-Attention Convolutional Neural Networks
文中短文本分类文献阅读笔记
2022-09-25 17:06:13
274
原创 文献阅读笔记 Short-Text Classification Detector: A Bert-Based Mental Approach
阅读笔记
2022-08-26 20:09:55
528
原创 论文阅读笔记：A Short Survey on Taxonomy Learning from Text Corpora: Issues, Resources and Recent Advances
介绍了基于文本语料库的分类法学习的一个调研
2022-05-28 17:24:15
322
原创 Short Text Classification-A Survey-2014阅读笔记
这篇文章主要是从介绍短文本的特点->短文本分类的难度->现在主流的针对短文本分类器以及模型的工作
2022-05-20 10:06:31
314
原创 MarkDown使用指南
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器无序标题一无序标题二你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页
2022-05-19 19:32:09
43
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人