【论文阅读】 略读 融合FastText模型和注意力机制的网络新闻文本分类模型

[1]王婉,张向先,卢恒,张莉曼.融合FastText模型和注意力机制的网络新闻文本分类模型[J].现代情报,2022,42(03):40-47.

针对问题：
1.短文本的特征稀疏
2.需要提高文本分类的精确度

最终选择的解决方法：
1.Ngram2vec模型集合了Word2vec模型与FastText模型的优势，解决特征稀疏
2.注意力机制，提高精确度

补充概念：
FastText:
2016年，Facebook提出FastText文本分类模型。
核心思想是将整篇文档的词及N元模型(n-gram)向量叠加平均得到文档向量，然后使用文档向量做多分类

这篇模型如下图所示：
通过词嵌入模型Ngram2vec提取网络新闻文本的局部特征，深度挖掘网络新闻文本的语义信息。
输出的词向量进行加权平均，生成标题句向量表达作为BiLSTM的输入，引入Attention机制加入注意力层为网络新闻文本的特征配置差异化权重。
最终通过Softmax层输出网络新闻文本所属类别的概率值。
看到这里感觉到的创新点：
Ngram2vec模型
就是先经过了fasttext后经过了cbow，

数据集：
预训练词向量：清华大学的中文文本分类数据集THUCNews
原因（略）

代码框架：Pytorch深度学习框架

感觉：
1.创新度是不是就是先经过fastText，再经过cbow,感觉创新度有些不够，
2.包含权重的计算公式没有见着，就是对于模型内部的具体阐释没有，但是对于精确度，F1等指标倒是解释的比较清楚，似乎很多论文都是这样，可能需要的我计算公式更菜一些。
3.我看完之后才发现现代情报是管理学的期刊（？），我还以为我看的是计算机科学之类的…

和之前论文一样，如果中文论文发笔记有不妥当之处麻烦指出，谢谢！