- 博客(41)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 rwthlm源码分析(六)之输入层以及训练框架
这篇介绍rwthlm输入层的结构，以及整个网络训练的框架。对于rwthlm的rnn结构部分在隐层我觉的还是比较常见的实现方式了，如果在训练rwthlm时指定了用rnn来训练，那么输入层的结构也会带有循环部分，关于这一点，在代码中我会说明。仍然是如果有任何错误，欢迎看到的朋友指出，再次谢过~输入层的实现在tablelookup.cc里面，在第一次看这个包时，看文件名大概就知道哪些文件属于神经网络
2015-05-01 08:54:52
2887
原创 LSTM简介以及数学推导(FULL BPTT)
前段时间看了一些关于LSTM方面的论文，一直准备记录一下学习过程的，因为其他事儿，一直拖到了现在，记忆又快模糊了。现在赶紧补上，本文的组织安排是这样的：先介绍rnn的BPTT所存在的问题，然后介绍最初的LSTM结构，在介绍加了遗忘控制门的，然后是加了peephole connections结构的LSTM，都是按照真实提出的时间顺序来写的。本文相当于把各个论文核心部分简要汇集一下而做的笔记，已提供快
2015-04-30 09:30:25
119610
21
原创 rwthlm分析(五)之LSTM结构
第五篇仍然介绍隐层，这一篇其实是我最初要学习的主要内容——LSTM，LSTM的效果比rnn好，rnn存在的一个问题就是误差梯度会随着往前时刻深度的增加而逐渐减少消失，这样rnn的学习算法BPTT的深度就有了限制。LSTM解决了这样的问题，关于LSTM的结构的扩展也有几个阶段，这篇不会再去详细介绍LSTM了，关于LSTM更详细的介绍可以看看我写的另外一篇博客。仍然和前面一样，自己的认知与理解有限，哪
2015-04-30 06:30:24
8136
2
原创 RWTHLM 源码分析(四)之rnn结构
前几天有些搁置，希望能赶紧把最近所学的写下来，仅仅过了几天记忆以及没那么清晰了，仍然和前面一样，自己理解不对的地方还请明白的朋友指出来，再次谢过~这一篇介绍隐层，其实现在linear.cc, recurrency.cc里面。这里通过is_recurrent可以方便的设置隐层是否为循环网络。对于is_recurrent == true， 表示循环结构的神经网络，其示意图如下：
2015-04-29 15:15:37
3178
原创 RWTHLM 源码分析(三)之输出层
现在是第三篇，后面的顺序是从输出层，到隐层，然后到输入层的顺序来写，最后在写一下整个框架。这篇介绍输出层的实现，整个程序非常关键的是矩阵相乘的函数，所以在看整个输出层实现之前，非常有必要详细的介绍一下里面反复用到的矩阵相乘函数的各个参数的含义。先看一下FastMatrixMatrixMultiply这个函数，如下：inline void FastMatrixMatrixMultip
2015-04-27 11:02:08
2588
原创 RWTHLM 源码分析(二)之数据组织
下面看一下这个工具的基础数据组织的实现，头文件在data.h中，实现在data.cc中。这个工具的数据组织分为三种模式，原论文是这么说的： A sequence is defined to be a sentence from the training data. As a result, sequences can be quite different in length, es
2015-04-16 09:39:33
1882
原创 RWTHLM 源码分析(一)之词库组织
RWTHLM(点击进行下载页面)的前4个文字指德国的亚琛工业大学，LM是语言模型。不同于我前面学习过的rnnlm, 这个开源工具提供了多种神经网络的结构，可以来构建语言模型。虽然本次主要目的是学习LSTM，但该开源工具又包含了rnn, feedforward的结构，索性的再学一遍吧。 这个开源工具是纯c++写的，很多用到了stl，以及boost库里面的东西，跟前面的rnnlm比起
2015-04-13 09:19:36
2949
原创 Recurrent neural network language modeling toolkit 源码内部数据结构图解
最后一篇将前面分散在各篇的图全部在这儿汇总一下吧。首先是论文中最“常规”RNN结构，如下：
2015-04-01 16:17:40
3989
4
原创 Neural Network based on Eorr Back Propagation典型BP网络c++实现
参考资料：人工神经网络－韩力群PPT 看了一些关于基于神经网络的语言模型, 与传统语言模型相比, 除了计算量让人有点不满意之外, 不需要额外的平滑算法, 感觉它们的效果让人惊讶。 这些网络里面都能看到BP的影子, 可以说BP网络是最基本的, 掌握扎实了, 对其他结构理解会更深刻， 于是早在学习语言模型之前我自己曾经用c++写过一个简单的BP网络，虽然功能简单，只有最基本的三
2015-03-29 22:56:20
2109
原创 Feedforward Neural Network Language Model(NNLM)c++核心代码实现
本文来自CSDN博客，转载请注明出处：http://blog.csdn.net/a635661820/article/details/44730507参考文献: A Neural Probabilistic Language Model 参照我另一篇NNLM学习介绍的博客, 这一篇是对NNLM的简要实现, 自己简化了一些，输入层到输出层没有连接(加上直连边的真在
2015-03-29 20:29:05
5052
18
原创 Recurrent Neural Network Based Language Model(RNNLM)原理及BPTT数学推导
参考文献：1. Statistical Language Models Based on Neural Networks2. A guide to recurrent neural networks and backpropagation前一篇文章介绍了nnlm，用神经网络来对语言进行建模，nnlm一个很大的优点就是将历史映射到一个低维的空间而并不像普通n-gram,这就降低了
2015-03-19 18:53:02
21420
11
原创 Feedforward Neural Network Language Model(NNLM)原理及数学推导
本文来自CSDN博客，转载请注明出处：http://blog.csdn.net/a635661820/article/details/44130285 这一篇是Bengio大牛用神经网络训练语言模型的经典之作，后面我想继续学习RNN，LSTM等，这一篇论文绝对是入门的不错选择。下面是自己对文章的一些理解，毕竟自己刚接触NLP方面的东西，必然有一些不对的地方，还请多多指正。
2015-03-08 06:32:46
19166
2
原创 SemEval2015语义评测任务总结
在2014年11月份的时候老师带队，参加了SemEval 2015task15的测评比赛，现在论文刚过，这件事也算是告一段落了，大赛期间那段过程还是比较难受的，时正大三上学期，专业课一大堆，每天的休息时间少的可怜。后期发表论文的过程也是非常漫长的，论文更改的次数接近30次。现在才知道要在会议上发表一篇文章是多么不易了，整个过程持续时间长达5个月。不过这个过程下来，自己的收获绝对非常大，所以今天总结
2015-05-01 10:22:19
6347
7
原创 rwthlm工具包安装步骤
本篇介绍rwthlm在linux上的安装，我用的系统是ubuntu, 在windows上的安装我没去试，可以参考看看这个博客。1.首先编译器得支持c++11, 可以在终端中输入g++ -v在我的机器上得到如下结果：gcc version 4.8.2 (Ubuntu 4.8.2-19ubuntu1) ，官方文档上写的是g++ 4.6.3 or 4.8.0
2015-04-18 15:39:18
2695
原创 rnnlm源码分析(八)
系列前言参考文献：RNNLM - Recurrent Neural Network Language Modeling Toolkit(点此阅读)Recurrent neural network based language model(点此阅读)EXTENSIONS OF RECURRENT NEURAL NETWORK LANGUAGE MODEL(点此阅读)Strategi
2015-04-01 15:56:09
3618
3
原创 rnnlm源码分析(七)
系列前言参考文献：RNNLM - Recurrent Neural Network Language Modeling Toolkit(点此阅读)Recurrent neural network based language model(点此阅读)EXTENSIONS OF RECURRENT NEURAL NETWORK LANGUAGE MODEL(点此阅读)Strategi
2015-04-01 11:13:23
3053
9
原创 rnnlm源码分析(六)
系列前言参考文献：RNNLM - Recurrent Neural Network Language Modeling Toolkit(点此阅读)Recurrent neural network based language model(点此阅读)EXTENSIONS OF RECURRENT NEURAL NETWORK LANGUAGE MODEL(点此阅读)Strategi
2015-04-01 10:10:14
3599
原创 rnnlm源码分析(五)
系列前言参考文献：RNNLM - Recurrent Neural Network Language Modeling Toolkit(点此阅读)Recurrent neural network based language model(点此阅读)EXTENSIONS OF RECURRENT NEURAL NETWORK LANGUAGE MODEL(点此阅读)Strategi
2015-03-31 21:28:52
3020
原创 rnnlm源码分析(四)
系列前言参考文献：RNNLM - Recurrent Neural Network Language Modeling Toolkit(点此阅读)Recurrent neural network based language model(点此阅读)EXTENSIONS OF RECURRENT NEURAL NETWORK LANGUAGE MODEL(点此阅读)Strategi
2015-03-31 15:03:41
3564
4
原创 rnnlm源码分析(三)
系列前言参考文献：RNNLM - Recurrent Neural Network Language Modeling Toolkit(点此阅读)Recurrent neural network based language model(点此阅读)EXTENSIONS OF RECURRENT NEURAL NETWORK LANGUAGE MODEL(点此阅读)Strategi
2015-03-31 14:41:52
4671
原创 rnnlm源码分析(二)
系列前言参考文献：RNNLM - Recurrent Neural Network Language Modeling Toolkit(点此阅读)Recurrent neural network based language model(点此阅读)EXTENSIONS OF RECURRENT NEURAL NETWORK LANGUAGE MODEL(点此阅读)Strategi
2015-03-30 20:17:22
3443
原创 rnnlm源码分析(一)
系列前言参考文献：RNNLM - Recurrent Neural Network Language Modeling Toolkit(点此阅读)Recurrent neural network based language model(点此阅读)EXTENSIONS OF RECURRENT NEURAL NETWORK LANGUAGE MODEL(点此阅读)Strategi
2015-03-30 19:45:34
11770
11
原创 RNNLM——A Toolkit For Language Modeling rnnlm基本功能命令详细介绍
参考文献：RNNLM - Recurrent Neural Network Language Modeling Toolkit（点此打开）参考文献：STATISTICAL LANGUAGE MODELS BASED ON NEURAL NETWORKS（点此打开） 由Mikolov用rnn对语言进行建模所获得的效果已经超过传统的N-GRAM了，具体的实验结
2015-03-30 11:38:39
10141
9
原创 编程之美链表题目总结
总结了编程之美上面关于链表的题目，有不正确的地方，欢迎拍砖，等编程之美看完了，回头刷其他题时遇到链表再补充~目录如下（点击展开上面的目录到感兴趣的题目）：/************************************************************************//* 链表经典练习题
2015-03-21 05:59:36
1755
原创 单链表操作，队列，栈实现，以及常见字符串库函数经典实现
大三过的太快了，马上快要找工作了，数据结构算法什么的，很多基础的东西已经快忘了，必须开始重拾了！，链表最简单，先从链表入手，后面再写系列的链表面试题总结以及其他数据结构，下面的代码参考了殷人昆老师的教材（数据结构c语言描述）,程序在自己电脑的vc 6.0上能通过，可能有哪些地方不对的,或者有更精练的实现还指出来大家一起学习~/****************************
2015-03-19 15:43:41
1573
原创 A Toolkit For Langugae Modeling——SRILM使用记录
参考：SRILM安装：http://blog.csdn.net/zhoubl668/article/details/7759370SRILM使用：http://hi.baidu.com/keyever/item/8fad8918b90b8e6b3f87ce87一篇文章：SRILM - An Extensible Language Modeling Toolkit，在工具包的
2015-02-25 19:52:49
6120
原创 Statistical language model 统计语言模型
学习笔记来自斯坦福公开课的自然语言处理（https://class.coursera.org/nlp/），以其中讲义为主，加入自己的学习理解，以加深学习印象。内容提纲：1. N-GRAM介绍2. 参数估计3. 语言模型的评价4. 数据稀疏问题5. 平滑方法N-GRAM介绍现在很多的应用中，需要计算一个句子的概率，一个句子是否合
2015-02-22 08:48:15
11087
1
原创 10 Cross validation, VC dimension
本集内容1. VC维2. 交叉验证3. 特征选择VC维和关于无限假设类的情况上一节推导了由ERM选择出来的假设的一般误差与最好假设的一般误差的关系，即下面这个不等式，成立的概率至少是1-δ但是这一系列的推导都是假设我们的假设类是有限的，大小为k，待会儿会把一些结论推广到无限类情况。现在先假设一个假设类H有d个参数，就是
2015-02-15 14:57:19
1267
原创 9 empirical risk minimization(ERM)
本集内容1. 偏差/方差(Bias/variance)2. 经验风险最小化(empirical risk minimization (ERM))3. 联合界引理union bound/Hoeffding不等式4. 一致收敛(uniform convergence)开篇Andrew Ng[大概]: To me what really separeates th
2015-02-14 10:29:35
3354
原创 8 Support vector machine(3)
本集内容1. 核函数(kernels)2. 软间隔(Soft Margin)3. SMO算法核函数特征映射首先在前面第三节内容中，有一个面积—房价关系的例子，如果只考虑面积一个特征，那么我们用线性规划得到的结果是一条直线，但事实上这条直线的表现是欠拟合的。更符合实际情况的或许是一个二次曲线，那么要从一个特征通过线性规划得到一个回归结果
2015-02-13 09:13:34
1049
原创 7 Support vector machine(2)
本集内容1.最优间隔分类器2.原始优化、对偶优化3.KTT条件4.SVM dual5.核方法(kernels)最优间隔分类器上一节里面介绍了函数间隔，几何间隔，我们知道要想获得一个好的模型，必须使这些间隔最大化，我们用如下定义最优间隔分类器：这里是选的 最优化的目标是几何间隔，并且满足||w|| = 1，且该几何间隔是所有
2015-02-11 08:03:12
1025
原创 6 Support vector machine(1)
本集内容1.事件模型2.神经网络简单介绍3.支持向量机(上)事件模型多值伯努利事件模型在前面介绍的一个垃圾邮件分类的例子中，输入特征的分向量要么取0或1，即p(x|y)中的x是服从伯努利分布的，这样的朴素贝叶斯算法叫做多值伯努利事件模型多项式事件模型上面的垃圾邮件分类器的特征并没有完全描述邮件的性质，比
2015-02-09 16:15:23
835
原创 5 Generative Learning algorithms ,Discriminative algorithm
本集课程内容 1.生成学习算法2.高斯判别分析(GDA)3.判别学习与生成学习的对比4.朴素贝叶斯5.Laplace平滑 生成学习算法与判别学习算法 像前面的介绍的线性回归模型，逻辑回归，softmax回归等都是对P(y | x)进行建模得到的，这种方式叫做判别学习算法滑；如果是直接对特征进行建模的，即对P(x | y)(包含P(y))这样的
2015-02-08 19:57:23
949
原创 4 Generalized linear models
课程内容1.牛顿方法 2.指数族 3.广义线性模型牛顿方法一个问题的引入对于一个函数f(θ)如何找到θ使得f(θ) = 0? 牛顿方法可以用来解决这个问题，图解描述如下：先找一个初始的θ,过点(θ, f(θ))做曲线的切线，并且与x轴交的一点便是新的θ，这个新的θ记为θ^(1),初始的θ记为θ^(0)，斜率记为f'
2015-02-07 17:19:38
1089
原创 3 Locally weighted linear regression, logistic Regression
本集课程内容 1. 局部加权线性回归 Locally weighted linear regression2. 线性回归的解释 Probabilistic interpretation3. logistic 回归4. 感知器的学习算法The perceptron learning algorithm 模型中常见问题 1.欠拟合(underfitting)
2015-02-07 11:21:49
1430
原创 如何在写CSDN博客时预览文章
最近刚刚开始在CSDN写博客，发现CSDN博客各种纠结，图片的上传感觉就及其麻烦了。等你好不容易写好后，发现还得审核，审核一过你突然发现你的格式没排版好，然后你又修改，最后又审核..实在无力吐槽..我当时就找了一圈，总觉的文字编辑界面上面应该有一个预览按钮才对呀，否则实在太不人性化了吧，简直打消积极性啊....直到昨天发现保存草稿时，才发现CSDN也可以变相的进行预览，废话不多说，直接上图步骤：
2015-02-02 09:07:13
1934
原创 2 Linear Regression, Gradient descent
本集课程内容1.线性回归 Linear Regression2.梯度下降 Gradient descent3.正规方程组 the normal equations问题引入课程开始介绍了一个自动驾驶的例子，里面所用到的算法就是有监督的学习(驾驶员提供正确的答案供汽车开始学习)，其实这是一个回归问题，因为该算法输出代表着汽车的方向，是一个连续值。本集课程
2015-02-01 08:52:40
1083
原创 1 Machine Learning Summary
课程前言1.机器学习可以看到是很跨领域的，神经学，自然语言处理，等等，机器学习的实用性非常广2.课程中的作业需要用到MATLAB软件编写实现一些学习算法，但是正版需要收费，OCTAVE是免费的，提供了一些跟MATLAB差不多的功能，但总的来说功能要少一些，不过对这门课程来说够用了 。课程内容一.机器学习定义(Machine Learning Definition)Arthu
2015-01-28 10:43:31
1020
原创 简明python教程学习笔记(三)
一个备份程序这里需要调用rar命令，首先把rar命令加入到环境变量里面来：我的RAR.exe 在C:\Program Files\WinRAR，加入环境变量后，示例备份程序helloworld.py mymodule.py到myPythonProgram.rar#Backup script#DOS下解压命令行：rar a myPythonProgram mymodule.py hel
2015-01-20 11:26:00
829
原创 简明python教程学习笔记(二)
五.函数可以直接加形式参数另外注意这里是遵循局部变量的，如果要在函数体内使用外部的全局变量，加上一个全局的声明，比如global x表示下面的x是全局的Python可以再任何地方定义函数，包括函数体内，在一个函数体内定义的一个函数，里面的变量用nonlocal,个人觉的完全没必要这么去写。另外可以附加默认实参，跟c++一样关键实参，就是在调用参数时，可以写成实参的名
2015-01-20 08:51:35
785
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人