![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
文章平均质量分 92
weixin_46125345
这个作者很懒,什么都没留下…
展开
-
TextRNN
TextRNNtextRNN vs textCNNRNN介绍单向RNNBiRNNLSTMGRUtextRNN的结构第一种结构第二种结构TextRCNN(TextRNN + CNN)textRNN-Attention文本分类二级目录三级目录textRNN vs textCNN1.尽管TextCNN能够在很多任务里面能有不错的表现,但CNN有个最大问题是固定filter的视野,一方面无法建模更长的序列信息,另一方面filter的超参调节也很繁琐。CNN本质是做文本的特征表达工作,而自然语言处理中更常用的是R原创 2021-10-24 10:03:34 · 2714 阅读 · 0 评论 -
Seq2Seq
Seq2Seq1.经典RNN2.结构Seq2Seq训练二级目录三级目录1.经典RNN2.结构在Seq2Seq结构中,编码器Encoder把所有的输入序列都编码成一个统一的语义向量Context,然后再由解码器Decoder解码。在解码器Decoder解码的过程中,不断地将前一个时刻 t−1t-1t−1 的输出作为后一个时刻 ttt 的输入,循环解码,直到输出停止符为止。与经典RNN结构不同的是,Seq2Seq结构不再要求输入和输出序列有相同的时间长度!机器翻译Decoder端 ttt 时刻数据原创 2021-10-22 20:47:04 · 203 阅读 · 0 评论 -
TextCNN
TextCNN基于文本的CNNCNN的特点数据预处理卷积介绍pooling介绍TextCNN卷积的计算过程超参数调参总结基于文本的CNN对于文本分类问题,常见的方法无非就是抽取文本的特征,比如使用doc2evc或者LDA模型将文本转换成一个固定维度的特征向量,然后在基于抽取的特征训练一个分类器。从直观上理解,TextCNN通过一维卷积来获取句子中n-gram的特征表示。TextCNN对文本浅层特征的抽取能力很强,在短文本领域如搜索、对话领域专注于意图分类时效果很好,应用广泛,且速度快,一般是首选;对原创 2021-10-22 20:46:47 · 3196 阅读 · 0 评论 -
Word2Vec
Word2Vec2.词向量3.为什么不使用one-hot向量?4. word2vec5.跳字模型skip-gram6.连续词袋模型7.近似训练法8.负采样9.层序softmax1.为方便神经网络处理词,需将句子分词,并把这些词通过某些办法映射成词向量。2.词向量是用来表示词的向量,也可被认为是词的特征向量。把词映射为实数域向量的技术也叫词嵌入(word embedding)。3.为什么不使用one-hot向量?因为one-hot 词向量无法表达不同词之间的相似度,例如,任何一对词的 one-hot原创 2021-10-21 19:17:40 · 63 阅读 · 0 评论