Deep learning | NLP
文章平均质量分 82
a635661820
这个作者很懒,什么都没留下…
展开
-
Statistical language model 统计语言模型
学习笔记来自斯坦福公开课的自然语言处理(https://class.coursera.org/nlp/),以其中讲义为主,加入自己的学习理解,以加深学习印象。内容提纲:1. N-GRAM介绍2. 参数估计3. 语言模型的评价4. 数据稀疏问题5. 平滑方法N-GRAM介绍现在很多的应用中,需要计算一个句子的概率,一个句子是否合原创 2015-02-22 08:48:15 · 11047 阅读 · 1 评论 -
RWTHLM 源码分析(四)之rnn结构
前几天有些搁置,希望能赶紧把最近所学的写下来,仅仅过了几天记忆以及没那么清晰了,仍然和前面一样,自己理解不对的地方还请明白的朋友指出来,再次谢过~这一篇介绍隐层,其实现在linear.cc, recurrency.cc里面。这里通过is_recurrent可以方便的设置隐层是否为循环网络。对于is_recurrent == true, 表示循环结构的神经网络,其示意图如下:原创 2015-04-29 15:15:37 · 3168 阅读 · 0 评论 -
rnnlm源码分析(六)
系列前言参考文献:RNNLM - Recurrent Neural Network Language Modeling Toolkit(点此阅读)Recurrent neural network based language model(点此阅读)EXTENSIONS OF RECURRENT NEURAL NETWORK LANGUAGE MODEL(点此阅读)Strategi原创 2015-04-01 10:10:14 · 3592 阅读 · 0 评论 -
rnnlm源码分析(八)
系列前言参考文献:RNNLM - Recurrent Neural Network Language Modeling Toolkit(点此阅读)Recurrent neural network based language model(点此阅读)EXTENSIONS OF RECURRENT NEURAL NETWORK LANGUAGE MODEL(点此阅读)Strategi原创 2015-04-01 15:56:09 · 3608 阅读 · 3 评论 -
rnnlm源码分析(四)
系列前言参考文献:RNNLM - Recurrent Neural Network Language Modeling Toolkit(点此阅读)Recurrent neural network based language model(点此阅读)EXTENSIONS OF RECURRENT NEURAL NETWORK LANGUAGE MODEL(点此阅读)Strategi原创 2015-03-31 15:03:41 · 3556 阅读 · 4 评论 -
rwthlm分析(五)之LSTM结构
第五篇仍然介绍隐层,这一篇其实是我最初要学习的主要内容——LSTM,LSTM的效果比rnn好,rnn存在的一个问题就是误差梯度会随着往前时刻深度的增加而逐渐减少消失,这样rnn的学习算法BPTT的深度就有了限制。LSTM解决了这样的问题,关于LSTM的结构的扩展也有几个阶段,这篇不会再去详细介绍LSTM了,关于LSTM更详细的介绍可以看看我写的另外一篇博客。仍然和前面一样,自己的认知与理解有限,哪原创 2015-04-30 06:30:24 · 8127 阅读 · 2 评论 -
rnnlm源码分析(七)
系列前言参考文献:RNNLM - Recurrent Neural Network Language Modeling Toolkit(点此阅读)Recurrent neural network based language model(点此阅读)EXTENSIONS OF RECURRENT NEURAL NETWORK LANGUAGE MODEL(点此阅读)Strategi原创 2015-04-01 11:13:23 · 3042 阅读 · 9 评论 -
rwthlm源码分析(六)之输入层以及训练框架
这篇介绍rwthlm输入层的结构,以及整个网络训练的框架。对于rwthlm的rnn结构部分在隐层我觉的还是比较常见的实现方式了,如果在训练rwthlm时指定了用rnn来训练,那么输入层的结构也会带有循环部分,关于这一点,在代码中我会说明。仍然是如果有任何错误,欢迎看到的朋友指出,再次谢过~输入层的实现在tablelookup.cc里面,在第一次看这个包时,看文件名大概就知道哪些文件属于神经网络原创 2015-05-01 08:54:52 · 2876 阅读 · 0 评论 -
rwthlm工具包安装步骤
本篇介绍rwthlm在linux上的安装,我用的系统是ubuntu, 在windows上的安装我没去试,可以参考看看这个博客。1.首先编译器得支持c++11, 可以在终端中输入g++ -v在我的机器上得到如下结果:gcc version 4.8.2 (Ubuntu 4.8.2-19ubuntu1) ,官方文档上写的是g++ 4.6.3 or 4.8.0原创 2015-04-18 15:39:18 · 2688 阅读 · 0 评论 -
Feedforward Neural Network Language Model(NNLM)c++核心代码实现
本文来自CSDN博客,转载请注明出处:http://blog.csdn.net/a635661820/article/details/44730507参考文献: A Neural Probabilistic Language Model 参照我另一篇NNLM学习介绍的博客, 这一篇是对NNLM的简要实现, 自己简化了一些,输入层到输出层没有连接(加上直连边的真在原创 2015-03-29 20:29:05 · 5039 阅读 · 18 评论 -
LSTM简介以及数学推导(FULL BPTT)
前段时间看了一些关于LSTM方面的论文,一直准备记录一下学习过程的,因为其他事儿,一直拖到了现在,记忆又快模糊了。现在赶紧补上,本文的组织安排是这样的:先介绍rnn的BPTT所存在的问题,然后介绍最初的LSTM结构,在介绍加了遗忘控制门的,然后是加了peephole connections结构的LSTM,都是按照真实提出的时间顺序来写的。本文相当于把各个论文核心部分简要汇集一下而做的笔记,已提供快原创 2015-04-30 09:30:25 · 119559 阅读 · 21 评论 -
RWTHLM 源码分析(二)之数据组织
下面看一下这个工具的基础数据组织的实现,头文件在data.h中,实现在data.cc中。这个工具的数据组织分为三种模式,原论文是这么说的: A sequence is defined to be a sentence from the training data. As a result, sequences can be quite different in length, es原创 2015-04-16 09:39:33 · 1873 阅读 · 0 评论 -
RWTHLM 源码分析(一)之词库组织
RWTHLM(点击进行下载页面)的前4个文字指德国的亚琛工业大学,LM是语言模型。不同于我前面学习过的rnnlm, 这个开源工具提供了多种神经网络的结构,可以来构建语言模型。虽然本次主要目的是学习LSTM,但该开源工具又包含了rnn, feedforward的结构,索性的再学一遍吧。 这个开源工具是纯c++写的,很多用到了stl,以及boost库里面的东西,跟前面的rnnlm比起原创 2015-04-13 09:19:36 · 2943 阅读 · 0 评论 -
RWTHLM 源码分析(三)之输出层
现在是第三篇,后面的顺序是从输出层,到隐层,然后到输入层的顺序来写,最后在写一下整个框架。这篇介绍输出层的实现,整个程序非常关键的是矩阵相乘的函数,所以在看整个输出层实现之前,非常有必要详细的介绍一下里面反复用到的矩阵相乘函数的各个参数的含义。先看一下FastMatrixMatrixMultiply这个函数,如下:inline void FastMatrixMatrixMultip原创 2015-04-27 11:02:08 · 2577 阅读 · 0 评论 -
A Toolkit For Langugae Modeling——SRILM使用记录
参考:SRILM安装:http://blog.csdn.net/zhoubl668/article/details/7759370SRILM使用:http://hi.baidu.com/keyever/item/8fad8918b90b8e6b3f87ce87一篇文章:SRILM - An Extensible Language Modeling Toolkit,在工具包的原创 2015-02-25 19:52:49 · 6108 阅读 · 0 评论 -
Recurrent Neural Network Based Language Model(RNNLM)原理及BPTT数学推导
参考文献:1. Statistical Language Models Based on Neural Networks2. A guide to recurrent neural networks and backpropagation前一篇文章介绍了nnlm,用神经网络来对语言进行建模,nnlm一个很大的优点就是将历史映射到一个低维的空间而并不像普通n-gram,这就降低了原创 2015-03-19 18:53:02 · 21394 阅读 · 11 评论 -
Feedforward Neural Network Language Model(NNLM)原理及数学推导
本文来自CSDN博客,转载请注明出处:http://blog.csdn.net/a635661820/article/details/44130285 这一篇是Bengio大牛用神经网络训练语言模型的经典之作,后面我想继续学习RNN,LSTM等,这一篇论文绝对是入门的不错选择。下面是自己对文章的一些理解,毕竟自己刚接触NLP方面的东西,必然有一些不对的地方,还请多多指正。原创 2015-03-08 06:32:46 · 19134 阅读 · 2 评论 -
Neural Network based on Eorr Back Propagation典型BP网络c++实现
参考资料:人工神经网络-韩力群PPT 看了一些关于基于神经网络的语言模型, 与传统语言模型相比, 除了计算量让人有点不满意之外, 不需要额外的平滑算法, 感觉它们的效果让人惊讶。 这些网络里面都能看到BP的影子, 可以说BP网络是最基本的, 掌握扎实了, 对其他结构理解会更深刻, 于是早在学习语言模型之前我自己曾经用c++写过一个简单的BP网络,虽然功能简单,只有最基本的三原创 2015-03-29 22:56:20 · 2096 阅读 · 0 评论 -
RNNLM——A Toolkit For Language Modeling rnnlm基本功能命令详细介绍
参考文献:RNNLM - Recurrent Neural Network Language Modeling Toolkit(点此打开)参考文献:STATISTICAL LANGUAGE MODELS BASED ON NEURAL NETWORKS(点此打开) 由Mikolov用rnn对语言进行建模所获得的效果已经超过传统的N-GRAM了,具体的实验结原创 2015-03-30 11:38:39 · 10119 阅读 · 9 评论 -
Recurrent neural network language modeling toolkit 源码内部数据结构图解
最后一篇将前面分散在各篇的图全部在这儿汇总一下吧。首先是论文中最“常规”RNN结构,如下:原创 2015-04-01 16:17:40 · 3978 阅读 · 4 评论 -
rnnlm源码分析(五)
系列前言参考文献:RNNLM - Recurrent Neural Network Language Modeling Toolkit(点此阅读)Recurrent neural network based language model(点此阅读)EXTENSIONS OF RECURRENT NEURAL NETWORK LANGUAGE MODEL(点此阅读)Strategi原创 2015-03-31 21:28:52 · 3007 阅读 · 0 评论 -
rnnlm源码分析(一)
系列前言参考文献:RNNLM - Recurrent Neural Network Language Modeling Toolkit(点此阅读)Recurrent neural network based language model(点此阅读)EXTENSIONS OF RECURRENT NEURAL NETWORK LANGUAGE MODEL(点此阅读)Strategi原创 2015-03-30 19:45:34 · 11754 阅读 · 11 评论 -
rnnlm源码分析(三)
系列前言参考文献:RNNLM - Recurrent Neural Network Language Modeling Toolkit(点此阅读)Recurrent neural network based language model(点此阅读)EXTENSIONS OF RECURRENT NEURAL NETWORK LANGUAGE MODEL(点此阅读)Strategi原创 2015-03-31 14:41:52 · 4659 阅读 · 0 评论 -
rnnlm源码分析(二)
系列前言参考文献:RNNLM - Recurrent Neural Network Language Modeling Toolkit(点此阅读)Recurrent neural network based language model(点此阅读)EXTENSIONS OF RECURRENT NEURAL NETWORK LANGUAGE MODEL(点此阅读)Strategi原创 2015-03-30 20:17:22 · 3437 阅读 · 0 评论 -
SemEval2015语义评测任务总结
在2014年11月份的时候老师带队,参加了SemEval 2015task15的测评比赛,现在论文刚过,这件事也算是告一段落了,大赛期间那段过程还是比较难受的,时正大三上学期,专业课一大堆,每天的休息时间少的可怜。后期发表论文的过程也是非常漫长的,论文更改的次数接近30次。现在才知道要在会议上发表一篇文章是多么不易了,整个过程持续时间长达5个月。不过这个过程下来,自己的收获绝对非常大,所以今天总结原创 2015-05-01 10:22:19 · 6321 阅读 · 7 评论