NLP与tensorflow学习
记录自己在学习NLP和tensorflow过程中的一些笔记和参考文档。
茵茵的聪聪
这个作者很懒,什么都没留下…
展开
-
Seq2Seq -- Attention -- Transformer
Seq2Seq – Attention – Transformer文章目录Seq2Seq -- Attention -- Transformer1.前言2.Seq2Seq模型3.Attention模型3.1简介3.2模型架构3.3其他4.Transformer4.1为什么使用Transformer?4.2模型架构4.2.1 Self-Attention4.2.2 Multi-headed Att...原创 2019-03-23 23:23:11 · 2538 阅读 · 0 评论 -
RNN与LSTM模型
RNN简介前馈神经网络的两个局限难以捕捉到数据之间长距离的依赖关系,即使CNN也只能捕捉到局部或短距离的关系当训练样本输入是连续序列且长短不一时,不好处理,如一段段连续的语音、连续的文本为了解决上述局限,提出了循环神经网络RNN的结构如下,右侧是左侧的图按照时间序列展开的结果。RNN可以做到学习数据间长距离的关系。比如在文本分类中,它模拟了人阅读一篇文章的顺序,从前到后阅读文章中...原创 2019-03-20 20:14:15 · 2702 阅读 · 0 评论 -
TextCNN模型原理
TextCNN模型简介CNN,卷积神经网络,最初主要应用于图像识别领域,以局部权值共享的特殊结构隐式地学习大量的输入与输出之间的映射关系,而不用显式地进行特征抽取,在CV与NLP的任务中取得很好的效果。图像领域中,相关指滤波器模板移过图像并计算每个位置乘积之和的处理,卷积的机理相似,但滤波器首先要旋转180度。由于旋转对参数求解没有帮助,因此在神经网络中用相关代替卷积操作。基本架构CNN...原创 2019-02-26 15:59:57 · 1140 阅读 · 0 评论 -
FastText模型原理
FastText简介N-gram模型,对句子或单词的所有长度为N的子句或子字符串进行操作,如2-gram中,对“girl”变为“gi”,“ir”,"rl"在进行操作,通常有操作如下:比较两个单词的相似度,即按照公式根据子字符串的匹配情况计算出相似度,常用于模糊匹配、单词纠错等评估句子是否合理,将句子定义为N阶马尔科夫链,即 P(wi∣w1,w2,...,wi−1)=P(wi∣wi−N+1...原创 2019-02-23 20:56:31 · 3987 阅读 · 0 评论 -
记录TensorFlow学习中的参考文档
TensorFlow学习参考文档TensorFlow学习笔记——节点(constant、placeholder、Variable)TensorFlow中的get_variable()Tensorflow中tf.train.exponential_decay函数(指数衰减法)Tensorflow之神经网络nn模块详解NCE-loss:Tensorflow 的NCE-Loss的实现和word...原创 2019-02-23 20:30:38 · 336 阅读 · 0 评论