![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
潘多拉星系
踏踏实实做事,认认真真做人
展开
-
Transformer学习
文章目录一、前言二、模型结构二、Attention Mechanism参考资料:一、前言Google于2017年6月发布在arxiv上的一篇文章《Attention is all you need》,提出解决seq2seq问题的transformer模型,用全attention的结构代替了LSTM,抛弃了之前传统的encoder-decoder模型必须结合CNN或者RNN的固有模式,只用Att...原创 2019-12-02 18:17:22 · 538 阅读 · 0 评论 -
Dynamic-CNN for modeling sentences学习
文章目录一、DCNN模型结构1、宽卷积2、k-max pooling3、动态k-max pooling4、non-linear feature function5、multi-feature map6、Folding二、分析三、实验参考资料 经过两三天的时间学习了发表在ACL2014的论文:A Convolutional Neural Network for Modelling Sentenc...原创 2019-10-30 21:55:32 · 753 阅读 · 0 评论 -
Char-CNN模型学习及实现
文章目录一、Char-CNN模型结构1,字符编码2,模型卷积-池化层二、使用同义词扩充数据集三、该模型的结论四、基于tensorflow的实现1、数据集及数据处理2、模型构建3、训练和测试参考资料 今天学习了发表在NIPS2015的论文:Character-level Convolutional Networks for Text Classification基于CNN的字符级文本分类。现将模...原创 2019-10-23 21:47:19 · 3206 阅读 · 0 评论 -
Quick-Thought模型学习笔记
文章目录一、前言二、Skip-Thought模型三、Quick-Thought模型四、实验五、总结参考资料一、前言 英文论文名称:《An efficient framework for learning sentence representations》 该文主要提出了一种新的方法来实现sentence2vec,实际上则是对skip thoughts的一种改进。从效果上来看,它训练得到的...原创 2019-10-22 20:52:49 · 1407 阅读 · 0 评论 -
Skip-Thought Vector学习笔记
文章目录一、skip-thought思想及结构二、模型(encoder-decoder)1、编码器:2、解码器:3、损失函数:三、 词汇扩展:四、训练模型技巧参考资料一、skip-thought思想及结构 skip-thought模型结构借助了skip-gram的思想。在skip-gram中,是以中心词来预测上下文的词;在skip-thought同样是利用中心句子来预测上下文的句子,其数据的...原创 2019-10-22 20:52:08 · 3395 阅读 · 0 评论 -
textCNN模型学习及使用
文章目录一、textCNN模型结构二、textCNN与用于图像的CNN的不同三、论文中的参数四、实验设置参考资料;Yoon Kim在论文(2014 EMNLP) Convolutional Neural Networks for Sentence Classification提出TextCNN。将卷积神经网络CNN应用到文本分类任务,利用多个不同size的kernel来提取句子中的关键信息(类...原创 2019-10-22 20:21:38 · 4769 阅读 · 4 评论 -
Doc2Vec模型的介绍与gensim中Doc2Vec的使用
文章目录一、Doc2Vec模型1 、PV-DM2 、PV-DBOW二、gensim实现1、gensim实现Doc2Vec(IMDB数据集)2、gensim实现Doc2Vec(中文数据集)三、总结四、程序编写时遇到的错误:gensim包中相关函数说明:一、Doc2Vec模型 许多机器学习算法需要的输入是一个固定长度的向量,当涉及到短文时,最常用的固定长度的向量方法是词袋模型(bag-of-wo...原创 2019-10-15 17:50:10 · 13758 阅读 · 12 评论