本文介绍了如何使用图卷积网络（GCN）处理文本分类问题，通过构建文本异构图网络，结合单词和文档的关系，进行节点的向量化表示学习。Text GCN在考虑单词共现和TF-IDF的基础上，利用PMI计算边权重，通过多层GCN捕获上下文信息。实验表明，Text GCN在多个数据集上优于基线方法，且模型对窗口大小和节点向量维度敏感。
论文链接： Graph Convolutional Networks for Text Classification
Idea：
- 基于一个数据集内的共现词和文档构建一个文本异构图网络。
- 在文本图网络中，单词和文档向量初始化形式为one-hot，在文档已知类标签的监督下，联合学习单词和文档的向量化表示。
- 图网络能够有效的处理关系型（结构化）数据，可以以图的形式保留全局性结构化信息在图嵌入形式中。
Method
Graph Convolutional Networks (GCN)
GCN是一种直接操作在图上的多层神经网络，并根据节点的邻域属性来生成节点的嵌入式向量表达。在一个图中G=(V,E),V和E分别代表节点集合和边集合。在该模型中，假设每个节点都与其自己自连接，（v，v）∈
E。X ∈ 
Rn*m代表一个包含n个节点的矩阵，其每个节点特征向量的维度为m，节点v的原始特征向量为xv。邻域矩阵为A，由于假设节点都是自连接的，所以A的主对角线上的元素都为1。当GCN网络只有一层的时候，其只能捕获节点周围的直接邻域信息，换句话说当网络层数较多时能够捕获节点周围较大的邻域信息。例如，节点特征维度为k的节点特征矩阵L
最低0.47元/天 解锁文章
8523
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
