自然语言处理
BYR_jiandong
这个作者很懒,什么都没留下…
展开
-
分享张开旭微博对于分词的理解
http://weibo.com/zhangkaixu?refer_flag=1001030102_&noscale_head=1&is_hot=1#_0【分词不是一个独立的任务】。分词的确在很多地方被使用,但不像机器翻译、语音识别、聊天那样形成一个独立的产品。用户并不对其感知,他在所有使用场景中,都如同一个hidden variable,对最后效果的影响即使不是次要的,但一定也是间接的。原创 2016-12-22 15:14:47 · 1169 阅读 · 0 评论 -
语言模型的评估-困惑度
语言模型评价语言模型构造完成后,如何确定好坏呢? 目前主要有两种评价方法:实用方法:通过查看该模型在实际应用(如拼写检查、机器翻译)中的表现来评价,优点是直观、实用,缺点是缺乏针对性、不够客观;理论方法:迷惑度/困惑度/混乱度(preplexity),其基本思想是给测试集的句子赋予较高概率值的语言模型较好,当语言模型训练完之后,测试集中的句子都是正常的句子,那么训练好的原创 2016-11-21 15:25:57 · 26351 阅读 · 1 评论 -
自然语言处理中CNN模型几种常见的Max Pooling操作
CNN是目前自然语言处理中和RNN并驾齐驱的两种最常见的深度学习模型。图1展示了在NLP任务中使用CNN模型的典型网络结构。一般而言,输入的字或者词用Word Embedding的方式表达,这样本来一维的文本信息输入就转换成了二维的输入结构,假设输入X包含m个字符,而每个字符的Word Embedding的长度为d,那么输入就是m*d的二维向量。这里可以看出,因为NLP原创 2016-09-22 22:42:48 · 2877 阅读 · 0 评论 -
Lua实现LSTM 前向传播
LSTM本身不是一个完整的模型,LSTM是对RNN隐藏层的改进。一般所称的LSTM网络应该称为使用了LSTM单元的RNN网络。本博文翻译自https://apaszke.github.io/lstm-explained.html。1、RNN其实和前馈网络没很大差异,RNN也可以层级堆叠。只是说前一时刻的隐藏层的输入要继续作为当前时刻的输入。原创 2016-09-26 16:17:08 · 1368 阅读 · 0 评论 -
RNN,LSTM 反向传播算法的思考 & RNN,LSTM可以模块化的分析
RNN的前向传播过程:RNN的BPTT公式: 说明:第t时刻,本层结点的残差有两个来源:一是上一层结点t时刻的残差进行加权(这个跟前馈网络是一样的,最后的误差要分派到每一个神经元上面,通过加权的方式,其实就是前面的神经元的误差累积形成最后的残差),二是后一个时刻(t+1)隐层结点的残差进行加权。所以,层与层之间的交互也只是将上一层的t时刻残差传给下一原创 2016-09-27 14:33:04 · 2150 阅读 · 0 评论 -
深度学习框架可使用组件化的思考&BP反向传播的思考
BP算法原理:http://ufldl.stanford.edu/wiki/index.php/%E5%8F%8D%E5%90%91%E4%BC%A0%E5%AF%BC%E7%AE%97%E6%B3%95说明:不管CNN,DNN,RNN等深度学习网络架构,最核心的还是使用梯度下降法进行优化。通过BP算法可以看出,权值的更新只跟残差和激活值有关。并且,下一层的残差,仅仅是上一层残差的加权原创 2016-09-23 16:13:43 · 622 阅读 · 0 评论 -
NLP分类问题中,使用半监督或无监督的手段来减少标注的任务
文本分类应该是最常见的文本语义分析任务了。首先它是简单的,几乎每一个接触过nlp的同学都做过文本分类,但它又是复杂的,对一个类目标签达几百个的文本分类任务,90%以上的准确率召回率依旧是一个很困难的事情。这里说的文本分类,指的是泛文本分类,包括query分类,广告分类,page分类,用户分类等,因为即使是用户分类,实际上也是对用户所属的文本标签,用户访问的文本网页做分类。几乎所有的机器学习方法原创 2016-09-20 15:40:50 · 22997 阅读 · 2 评论 -
漫话中文自动分词和语义识别(下):句法结构和语义结构
这篇文章是漫话中文分词算法的续篇。在这里,我们将紧接着上一篇文章的内容继续探讨下去:如果计算机可以对一句话进行自动分词,它还能进一步整理句子的结构,甚至理解句子的意思吗?这两篇文章的关系十分紧密,因此,我把前一篇文章改名为了《漫话中文自动分词和语义识别(上)》,这篇文章自然就是它的下篇。我已经在很多不同的地方做过与这个话题有关的演讲了,在这里我想把它们写下来,和更多的人一同分享。 什转载 2016-09-18 21:34:59 · 1994 阅读 · 0 评论 -
多层RNN的网络结构示意图
说明:多层RNN其实跟多层NN是一样的。1、输入层都会接入隐层。2、每个RNN隐层神经元都会接收该神经元前一时刻的状态,以及其他神经元前一时刻的状态。3、多层的RNN跟多层的NN其实,就是输入不仅接收当前的输入,还要接受隐层神经元前一时刻的输入。原创 2017-03-08 16:41:44 · 11061 阅读 · 1 评论