自然语言处理CS
不吃西瓜霜含片
这个作者很懒,什么都没留下…
展开
-
词的向量表示
传统的NLP,表示词语一般是通过离散数据表示。One-Hot这样表示的问题这两个向量是正交的,没有办法比较相似度。怎么办?解决办法:将其编码成可以比较相似度的向量。怎么编码呢?我们知道语言的词跟词之间是有一定关联性的,能不能利用这些关联性设置我们的词向量来编码我们的词语。Word2Vec方法简介:他是一种训练词向量的一种框架。我们有大量语料数据,其中每一个单词在语料...原创 2019-05-07 14:11:05 · 153 阅读 · 0 评论 -
词向量与词表示
推荐阅读文本:https://blog.csdn.net/u010417185/article/details/80647931再继续讲Word2Vec:遍历整个语料库, 预测中心词周围出现的概率 带入损失函数。 算法不断迭代更新参数值。我们希望得到的模型能够使得所有的词语出现在文本中的概率最高。实际参数的大小会非常大。(两个语料库向量表示:2dV)我们把语料设置窗口将...原创 2019-05-07 15:19:06 · 199 阅读 · 0 评论 -
斯坦福大学2019自然语言处理CS224n,Lecture6:Language Models and Recurrent Neural Networks
内容大纲:语言模型:N-gram语言模型:n-gram指的是n个连续的词。通过统计不同n-gram的词频信息来预测下一个词是什么。假设前提:长文本的第X(t+1)这个词出现概率等于前面的n-1个词预测下一个词出现的概率,也就是说:怎么求上面的概率呢?在一个很大的语料文本中计算他们出现的次数做比例。举个例子:对于4-gram,我们忽略掉除了三个文本之前的词...原创 2019-05-24 15:25:41 · 374 阅读 · 1 评论 -
神经网络与反向传播
本章主要内容介绍一下单层和多层的神经网络以及他们在分类问题的应用 反向传播(链式求导法则在更新参数的应用) 实际应用场景下一些参数设计策略。神经网络基础神经网络用来解决一部分非线性可分的分类任务。传统的分类器用来做这类任务的效果不好。单个神经元的计算。单层神经计算:同时对于实体识别问题,我们通常需要得到一个评分:这个时候需要乘上一个矩阵:...原创 2019-05-17 22:54:21 · 134 阅读 · 0 评论 -
词向量评价与再训练
词向量评价方法:内部评价:使用一些特定的子任务太评估。比如说类比。最好是能返回一个分数。特点:在一个特定的子任务进行; 需要比较简单,比较快。 能够帮助理解系统 能够与确定的外界任务相关联。举例说明:我们知道一个问答系统会比一个类比的系统要复杂多(结构复杂,训练的参数多)。选取一个比较简单的评估案例可以训练速度更快,而且更容易定位问题。外部评价:需要在一个实际任...原创 2019-05-18 00:34:44 · 225 阅读 · 0 评论