![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
笨猴兄_倒腾数据
这个作者很懒,什么都没留下…
展开
-
WORD2VEC 学习路线
最近看NLP的东西比较多。就拿现在google 基于神经网络做的 word2vec 作为博客的开始吧,今后会陆陆续续补充内容。 基本是分4块内容: 1.神经网络语言模型 (http://machinelearning.wustl.edu/mlpapers/paper_files/BengioDVJ03.pdf) 2.语言模型分层优化(http://www.i原创 2014-03-03 19:02:38 · 1673 阅读 · 1 评论 -
一、【word2vec学习路线】神经网络语言模型
1. 统计语言模型 (statistical model of language) 统计语言模型中,把一段包含T个词的语料表示为 w_t 表示第t个词,统计每个词在前面n个词出现的条件下的概率,用一幅图来表达就是: 应用这个模型的时候,为了降低复杂度,基于马尔科夫假设(Markov Assumption):下一个词的出现仅依赖于它前面的一个或几个词,上面的公式可以近似原创 2014-03-03 18:59:55 · 4792 阅读 · 1 评论 -
二、【word2vec学习路线】语言模型分层优化
上篇介绍了神经网络语言模型,因为每次训练都与词表大小线性相关,所以too expensive。本篇主要介绍word2vec里面应用的一种加速优化的方法可以把O(|V|)复杂度降至O(log|V|)原创 2014-03-04 16:50:29 · 2208 阅读 · 0 评论