论文:Graph Convolutional Networks for Text Classification

TextGCN:使用图卷积网络进行文本分类,基于词共现和文档词关系为语料库构建一个单独的文本图,word和document的初始向量为one-hot表示。通过GCN的学习其嵌入表示,下游分类任务优于现有方法。

优势:图神经网络由于具有丰富的关系结构,能够在图嵌入中保存全局的结构信息。

GCN的方法不再赘述,主要讲述构图的方法,

以“O”开头的节点是文档节点,其他节点是单词节点。黑色粗体边是文档-单词边,灰色细边是单词-单词边。R(x)表示x的表示(embedding)。不同的颜色意味着不同的文档类(为了避免混乱,只显示了四个示例类)。

文档-词的边基于词在文档中的出现信息,使用TF-IDF作为边的权重。词-词的连边基于词的全局词共现信息。词共现信息使用一个固定大小的滑动窗口在语料库中滑动统计词共现信息,然后使用点互信息(PMI)计算两个词节点连线的权重。具体如下:

PMI值为正时,表示语料库中词汇的语义相关性较高,当PMI值为负时,表示语料库中词汇的语义相关性较低或不存在语义相关性。因此,我们只在PMI值为正的单词对之间添加边 。

构建完文本图后,我们将该图输入到一个简单的两层GCN中:

 损失函数定义为所有标记文档的交叉熵误差:

 尽管图中没有直接的文档-文档边,但两层GCN允许在对文档之间交换信息。在我们的初步实验中。我们发现双层GCN的性能优于单层GCN,而多层GCN并不能提高性能。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
图卷积网络(Graph Convolutional Networks,简称GCN)在文本分类任务中的应用是指将文本数据表示为图结构,然后利用GCN模型从这个图中学习文本特征并进行分类。相比传统的基于词向量的文本分类方法,GCN可以充分利用文本中的语义关系和上下文信息,提高文本分类的准确性。 GCN模型的主要思想是将每个文本表示为一个节点,每个节点与其它节点之间建立连接,形成一个图结构。节点之间的连接可以表示为共现矩阵或者语义关系矩阵,其中每个元素表示两个节点之间的关系强度。在这个图结构中,每个节点的特征可以表示为一个向量,比如词向量、TF-IDF权重等。 GCN模型的核心是基于图卷积操作的神经网络。通过多层的图卷积操作,GCN模型可以逐层聚合节点的特征,并利用节点之间的连接信息进行上下文感知。最终,GCN模型可以将图中节点的特征映射到一个低维向量空间中,然后使用全连接层对向量进行分类。 在文本分类任务中,GCN模型通常用于处理有标签的数据,其中每个文本都有一个标签。模型的训练过程是通过最小化预测标签与真实标签之间的差距来实现的。在预测阶段,GCN模型可以对新的文本进行分类,并输出其属于每个标签的概率。 总之,GCN模型是一种利用图结构进行文本分类的方法,它可以充分利用文本中的语义关系和上下文信息,提高文本分类的准确性。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值