论文笔记-supervised and semi-supervised text categorization using LSTM for region embedding

最新推荐文章于 2024-10-10 21:50:48 发布

原创

最新推荐文章于 2024-10-10 21:50:48 发布 · 1.3k 阅读

1 ·

CC 4.0 BY-SA版权

本文探讨了使用LSTM进行文本分类任务，替代CNN实现区域嵌入和池化的方案。在全监督和半监督设置下，LSTM展现出优势。通过双向one-hot LSTM模型，结合区域嵌入，提高了预测准确性和训练效率。实验中，利用未标记数据训练LSTM，进一步提升性能。最佳结果来自于结合one-hot CNN和LSTM的区域嵌入输入。

Rie Johnson, Tong Zhang, 2016

摘要——
用LSTM代替CNN实现’region embedding + pooling’设计，在全监督和半监督中都可以用。

Introduction——
1.text categorization is the task of assigning labels to documents written in a natural language. state-of-the-art has long been bow+SVM model.
2.One-hot CNN:
a document is represented as a sequence of one-hot vectors,
a convolution layer converts all small regions of document to low-dimensional vectors at every location (region embedding).
a pooling layer aggregates the region embedding results to a document vector.
the top layer classifies a document vector with a linear model.
缺点：region size的确定。
因此用LSTM实现可变的区域长度。

——模型
综合One-hot CNN和LSTM
这里写图片描述
得到双向的one-hot LSTM