HFT-CNN:层级多标签分类，让你的模型多学习几次

最新推荐文章于 2024-08-18 12:39:23 发布

lynne233

最新推荐文章于 2024-08-18 12:39:23 发布

阅读量5.2k

点赞数 4

分类专栏：机器学习

本文链接：https://blog.csdn.net/lion19930924/article/details/105623783

版权

本文介绍了HFT-CNN模型在短文本多标签分类中的应用，通过层级结构解决数据稀疏问题。模型首先使用CNN提取特征，再利用Hierarchical结构进行细化学习。实验结果显示，HFT-CNN在F1值、P@k和NDCG@k标准上优于其他模型，尤其是在处理标签层级较深的情况。

摘要由CSDN通过智能技术生成

本文同步发布知乎：HFT-CNN:层级多标签分类，让你的模型多学习几次知乎主页lynne阿黎请大家不吝关注~

背景

长文本由于自身的特点和信息量，一段文本会描述一个特定的主题。短文本由于其自身长度的原因是缺少这种特征的。一般对于短文本的处理会借鉴上下文的语料或者同义词来扩充短文本的含义。但是由于文本的领域相关性，上下文的语料和同义词的分布未必和原始语料一致。由于以上原因短文本分类一直受到人们的关注。

在深度学习领域，对于短文本分类CNN是一种常见的方法，但是这种方法通常需要大规模的语料。文中认为短文本的多标签分类任务所面临的的问题主要是由多标签带来的数据稀疏的问题。在多标签分类中，我们会遇到标签是平行和具有层级结构的情况，例如我们看新闻的时候有生活类，科技类，娱乐类，而娱乐类又会分为电影频道，电视剧频道等等。对于标签有层级关系的问题，文中提出了Hierarchical CNN结构。

模型结构

1. CNN结构

文中文本分类的CNN模型类似于Text-CNN，输入是短文本sentence，sentence由词向量拼接而成，文中使用的是fasttext，接着使用卷积核为w的卷积层提取sentence的特征，然后添加max-pooling层，将这些池化层的的结果拼接然后经过全连接层和dropout得到上层标签[A,B,...]的概率，loss采用交叉熵。这是一个非常经典的CNN结构。