![](https://img-blog.csdnimg.cn/20200221145954701.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
文本分类
我在自动化所实习的一个学期中,对文本分类整个模块进行系统化的学习以及总结。
晴晴_Amanda
这个作者很懒,什么都没留下…
展开
-
7. 文本分类——DPCNN模型
文章目录一、 简介二、 模型结构2.1 区域嵌入2.2 等长卷积2.3 下采样(1/2池化)三、总结一、 简介ACL2017 年中,腾讯 AI-lab 提出了Deep Pyramid Convolutional Neural Networks for Text Categorization(DPCNN)。论文中提出了一种基于 word-level 级别的网络-DPCNN,由于 TextCNN 不能通过卷积获得文本的长距离依赖关系,而论文中 DPCNN 通过不断加深网络,可以抽取长距离的文本依赖关系。原创 2020-07-12 23:39:34 · 1568 阅读 · 0 评论 -
BERT原理详解
文章目录一、简介二、模型结构2.1 Embedding2.2 Transformer Encoder2.3 Loss优化三、BERT的预训练过程3.1 Masked Language Model3.2 Next Sentence Prediction四、总结4.1 BERT的优点4.2 BERT的不足4.3 BERT的适用场景五、参考论文:BERT: Pre-training of Deep ...原创 2020-03-26 15:15:04 · 4350 阅读 · 0 评论 -
Transformer原理详解
文章目录一、简介二、模型结构2.1 整体结构2.2 Transformer的编解码器2.2.1 编码器2.2.2 解码器2.3 输入层2.4 位置向量2.5 Attention模型2.5.1 NLP中的注意力2.5.2 Scaled attention2.5.3 多头自注意力2.6 Position-wise feed-forward networks(位置全链接前馈网络)2.7 残差连接网络2....原创 2020-03-26 14:45:20 · 3826 阅读 · 0 评论 -
6. 文本分类——transformer模型
文章目录一、简介二、transformer结构三、用于文本分类的transformer1. embedding layer(嵌入层)2. positional encoding(位置编码)3. Scaled dot-product attention(缩放的点乘注意力机制)4. Multi-head attention(多头注意力)5. Padding mask6. 残差连接7. Layer No...原创 2020-03-22 20:43:56 · 12804 阅读 · 0 评论 -
5. 文本分类——textRCNN模型
文章目录一、简介二、模型结构1.Word Representation Learning2.Text Representation Learning3. 代码实现4. 参考文章:recurrent convolutional neural networks for text classification文章链接:http://www.aaai.org/ocs/index.php/AAAI/A...原创 2020-03-22 14:27:05 · 4367 阅读 · 0 评论 -
4.文本分类——textRNN模型
文章目录一、简介二、先验知识:LSTM详解2.1 RNN2.2 长短期记忆网络(LSTM)(1)细胞状态(Cell State)(2)遗忘门(3)输入门(4)更新门(5)输出门2.3 双向RNN2.4 双向LSTM【Bi-LSTM】三、textRNN模型结构3.1 结构13.2 结构2四、总结五、参考一、简介TextCNN擅长捕获更短的序列信息,但是TextRNN擅长捕获更长的序列信息。具体...原创 2020-03-21 22:04:40 · 6194 阅读 · 2 评论 -
3.文本分类——textCNN模型
文章目录一、 简介二、 模型结构2.1 嵌入层2.2 卷积层2.3 池化层2.4 全连接层2.5 softmax层三、textCNN总结四、实现五、参考一、 简介TEXTCNN是由Yoon Kim在论文(2014 EMNLP) Convolutional Neural Networks for Sentence Classification中提出的,其主要思想是将不同长度的短文作为矩阵输入,...原创 2020-03-21 19:50:03 · 2502 阅读 · 0 评论 -
2.文本分类——fastText模型
文章目录一、fastText简介二、fastText模型架构三、层次softmax四、 N-Gram特征五、 使用fastText进行文本分类实践六、 参考一、fastText简介fastText算法是一种有监督的模型,与《前篇》中的CBOW架构很相似。《前篇》中的CBOW,通过上下文预测中间词,而fastText则是通过上下文预测标签(这个标签就是文本的类别,是训练模型之前通过人工标注等方...原创 2020-03-20 22:25:52 · 2436 阅读 · 0 评论 -
1. 文本分类概述
文章目录1. 什么是文本分类?2. 文本分类流程2.1 文本预处理2.2 文本特征表示2.3 分类器模块1. 什么是文本分类?文本分类技术是指在预先定义好的一些主题(如体育、教育、科技、时政、时尚等)下,根据文本的属性、含义或内容对其进行主题抽取,将大量的文本数据归类到相应的主题中。分类是信息检索领域多年来一直研究的课题,一方面以搜索的应用为目的来提高有效性和某些情况下的效率;另一方面,分...原创 2020-03-20 13:12:54 · 2361 阅读 · 0 评论