![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
csdn_inside
这个作者很懒,什么都没留下…
展开
-
cs224n Lecture 2 :Word2Vec Skip-Gram CBOW Negative Sampling 总结
词向量表示法 One-Hot表示法 Word2Vec是NLP里面一个非常重要的模型,以往是将单词映射成一个One-Hot向量。有两个问题,一个是一旦词汇表巨大,每个单词的One-Hot向量维度十分巨大,比如10W个词,单个单词的维度就是10W。二是任意两个非等向量都正交,乘积为0,无法表示出单词间的关系。对于语言而言,这显然是不行的,各个单词之间都或多或少有关系。 Word-Net表示法 ...原创 2019-01-11 20:53:20 · 318 阅读 · 1 评论 -
cs224n assigment 1 编程详解 python3 实现
只写一下比较关键和细节的地方,还有我遇到的问题。具体的公式推导,不是很难(主要是求导)。代码和公式可以参考这篇博客:http://www.hankcs.com/nlp/cs224n-assignment-1.html/2。 第一个比较关键和细节的地方,是softmax函数,向量化就不说了。。。 这里实现的时候,遇到了一个问题,对于样例中[1001,1002],一开始直接用公式exp(1001)...原创 2019-01-11 20:50:00 · 647 阅读 · 0 评论 -
GloVe :Global Vectors 全局向量 模型详解 公式推导
在cs224n Lecture 3: GloVe skipgram cbow lsa 等方法对比 / 词向量评估 /超参数调节 总结 中, 我们知道,以往生成词向量有两种算法,一种是基于矩阵分解(Matrix Factorization)的,代表有LSA,改进的HAL算法等;一种是基于滑窗概率(Shallow Window)的,代表有Skip-Gram和CBOW。这两种算法,或多或少都存在一些问...原创 2019-01-16 16:34:00 · 2028 阅读 · 0 评论 -
cs224n Lecture 3: GloVe skipgram cbow lsa 等方法对比 / 词向量评估 /超参数调节 总结
生成词向量的方法 以前大致有两种方法: ①是Matrix Factorization Method,主要代表是SVD Based的LSA等方法,核心是对共现矩阵(co-occurence)进行SVD(奇异值)分解,得到词向量。 ②是Iteration Based Method(Shallow window-based),主要代表是上节课讲到的Skip-Gram和CBOW。核心是概率,通过设置...原创 2019-01-16 16:36:52 · 964 阅读 · 0 评论 -
【笔记】吴恩达 深度学习 序列模型 第二周 知识点总结
第二周主要讲Word Vectors(Word Embeddings),具体的可以看: cs224n Lecture 2 :Word2Vec Skip-Gram CBOW Negative Sampling 总结 cs224n Lecture 3: GloVe skipgram cbow lsa 等方法对比 / 词向量评估 /超参数调节 总结 GloVe :Global Vectors 全局...原创 2019-02-23 17:50:26 · 334 阅读 · 0 评论 -
【笔记】吴恩达 深度学习 序列模型 第一周 知识点总结
大约半年前在coursera上学完了Ng的深度学习,受益匪浅。只不过时间长了,有的知识点也忘了。趁着寒假宅家,索性复习总结一遍。 第一周主要引入了循环神经网络,然后介绍了其基本结构,随后抛出普通RNN的问题(不能记录先前信息、梯度消失等),引出用于解决这些问题的改进RNN结构——GRU和LSTM,最后介绍了双向RNN和深层RNN。 Why sequence models 这一小节,介绍了...原创 2019-02-19 16:29:14 · 308 阅读 · 0 评论 -
吴恩达 深度学习 序列模型 第一周 编程作业二 字符级别语言模型项目 总结
Assignment 2 : Character level language model - Dinosaurus land 这个作业,是个小项目,很有意思,利用作业一中我们自己构建的RNN,来建立一个字符级别的语言模型。 背景:利用人类已经命名的恐龙名字,作为训练集,让模型知道某个字母(比如D)后面应该接什么字母(比如D-e-c-a-r-u-s),由此生成一系列新的恐龙名字。 当然这个项...原创 2019-02-20 11:40:29 · 442 阅读 · 0 评论 -
吴恩达 深度学习 序列模型 第一周 编程作业一 手动建立RNN LSTM 总结
Assignment 1 : Building a recurrent neural network - step by step 1.RNN Cell 这个函数用来计算RNN Cell。RNN Cell的结构和公式如下: 输入有三个:一个是该时刻的序列x<t>,一个是上一次传过来的信息激励a<t-1>。 parameters用于获取Cell的参数Wax、Waa...原创 2019-02-20 11:40:22 · 993 阅读 · 4 评论