![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 88
不要再抓我了
这个作者很懒,什么都没留下…
展开
-
个人NLP实习面经汇总
大厂双非同学NLP实习面试经历,可能会对某些即将面试的同学有所帮助,所以决定把自己亲身经历的面试内容做个分享,以下所有内容均是面试真实问到的内容。原创 2022-02-26 12:20:55 · 2800 阅读 · 1 评论 -
NLP笔记之word2vec算法(3)--Negative Sampling原理+数学推导
前一篇文章中,我们介绍了基于Hierarchical Softmax的模型,在word2vec中还提出了一个叫做Negative Sampling的方法,本文对Negative Sampling进行一个介绍。首先我们先介绍一些Hierarchical Softmax存在的一些缺陷,因为Hierarchical Softmax是基于哈夫曼树的算法,相对于传统的神经网络来说,Hierarchical Softmax的确可以很大效率的提升模型的速度和效率,但是如果对于某些比较生僻的词来说,因为我们知道哈夫曼树原创 2021-02-10 10:52:25 · 879 阅读 · 4 评论 -
NLP笔记之word2vec算法(2)--Hierarchical Softmax原理+数学推导
对应于上面的神经网络图来说,Input layer就是求和取平均值的向量,隐藏层的神经元就是哈夫曼树中所有的内部节点,输出层的神经元就是所有叶子节点。因为在哈夫曼树中,隐藏层到输出层的softmax映射不是一下子分母求和完成的,而是沿着哈夫曼树一步步向下延伸所求得的,因此这种softmax叫做“Hierarchical softmax” ,也叫层级softmax。原创 2021-02-09 11:42:15 · 657 阅读 · 2 评论 -
NLP笔记之word2vec算法(1)--Skip-gram算法原理+数学推导
word2vec中提出了两种模型来进行word embedding,分别是Skip-gram 和 CBOW(continuous bag of words),这两种模型的概念在Word2vec之前就已经提出来了。下面先对两种模型做个简要的介绍:Skip-gram : 给定中心词,预测窗口内的上下文的词CBOW : 给定窗口内的上下文的词, 预测中心词可以看出两种模型属于相反的一个关系,下面分别对两种模型进行相应的介绍。原创 2021-02-07 20:52:45 · 5062 阅读 · 5 评论