NLP
wangli0519
这个作者很懒,什么都没留下…
展开
-
NLP深度学习 —— CS224学习笔记 1
关键词: 自然语言处理, 词向量, 奇异值分解, Skip-gram, 连续词袋(CBOW), 负抽样一、简介自然语言处理任务简单: 拼写检查, 关键词搜索, 找同义词中度: 从网页、文件解析信息困难: 机器翻译, 语义解析, 指代, 问题回答使用词向量可以把词编码成向量然后通过计算距离来判断相似性,可使用Jaccard, Cosine, Euclidean等二、词原创 2017-08-20 16:02:05 · 2811 阅读 · 0 评论 -
NLP深度学习 —— CS224学习笔记2
基于迭代的方法相对于对数十亿的句子进行计算并储存其全局信息,我们尝试构建模型每次学习一个迭代来编码语境中词的概率。我们对已知和未知的参数设置概率模型,每次训练一个样本,学习基于输入的未知参数的一部分信息,以及模型期望的输出。每次运行模型,我们评估误差,遵循更新规则,并对引起误差的模型参数进行惩罚。这个理念早在1986年就已存在,即误差的反向传播方法。1、语言模型(unigram,原创 2017-08-21 21:09:31 · 876 阅读 · 0 评论 -
NLP深度学习 —— CS224学习笔记3
四、3、 Skip-Gram 模型另一种方法是得到中间的词,然后由模型来预测或生成周边的词。这种模型被成为Skip-Gram模型。设置与此前的CBOW大致相同,只是调换了x和y的顺序。具体可以分解成6步:1)生成one hot 向量 x2)得到语境的嵌入词向量3)将4)生成2m得分向量使用5)将每个得分转换成概率y=softmax(u)6)期望生成的概率原创 2017-08-22 21:11:12 · 661 阅读 · 0 评论 -
NLP深度学习 —— CS224学习笔记7
2、神经网络技巧和贴士2.1 梯度检查我们讨论了用微分来计算神经网络模型中参数的误差梯度,这里讨论另一种近似技巧,不需要误差反向 传播。其中这种方法计算成本极其高,要使用两次前向传播,但是一种验证反向传播的好方法。一个简单的梯度检查可以用以下方法实现2.2 正则我们使用L2正则防止过拟合是Frobenius范数。使用这样的约束可以解释为先验贝叶斯原创 2017-08-28 21:46:28 · 990 阅读 · 0 评论 -
NLP深度学习 —— CS224学习笔记8
关键词:语言模型,RNN,双向RNN,深度RNN,GRU,LSTM1、语言模型语言模型计算在一个特定序列中一组词出现的概率。一般由一个窗口内之前的n个词决定。这个公式对于语言和翻译系统确定一个词序列是否是准确翻译尤其有用。现有的语言翻译系统中,对每个词组/句子翻译,软件生成一些可替换词组,例如I have, I had, I has, me have, me had等,然后对它原创 2017-08-29 20:55:11 · 741 阅读 · 0 评论 -
NLP深度学习 —— CS224学习笔记9
2.1梯度爆炸或消失计算RNN的误差,我们计算每一步的误差并累加每一步的误差通过微分链法则进行在[k, t]时间区间内对于所有隐藏层的计算每个是h的雅各宾矩阵结合上述表达,我们得到beta_w和beta_h代表两个矩阵范式的上限值。每个t时间戳偏分梯度的的范式两个矩阵的范式通过L2正则来计算。容易变得很大或很小,导致梯度爆炸或消失。2原创 2017-08-30 22:52:30 · 602 阅读 · 0 评论 -
NLP深度学习 —— CS224学习笔记10
2.3 深度双向RNN到目前我们都是使用以前的词来预测后面的词。双向深度神经网络是在每个时间点t,同时有2个隐藏层,一个从左往右传播,一个从右往左传播。最后的分类结果有两个的结合产生。方程式表达为多层的深度结构为2.4 应用:RNN翻译模型我们讨论有RNN来替代传统翻译模型的可能性。这里前3个隐藏层时间点编码来源语言,后2个将h3解码到目标语原创 2017-08-31 20:38:01 · 916 阅读 · 0 评论 -
NLP深度学习 —— CS 224学习笔记 11
关键词: RNN, 递归神经网络, MV-RNN, RNTN1、递归神经网络递归神经网络是循环神经网络的一个超集使句子的输入向量规模相同,而不论句子的长度不同,这样我们可以输入任意长度的句子。想象我们的任务是接收一个句子,然后将它体现成与词相同语义空间的一个向量。这样下面三个句子的距离会非常相近。I went to the mall yesterday.We wen原创 2017-09-02 10:23:29 · 1098 阅读 · 0 评论