- 博客(3)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 WORD2VEC 学习路线
最近看NLP的东西比较多。就拿现在google 基于神经网络做的 word2vec 作为博客的开始吧,今后会陆陆续续补充内容。 基本是分4块内容: 1.神经网络语言模型 (http://machinelearning.wustl.edu/mlpapers/paper_files/BengioDVJ03.pdf) 2.语言模型分层优化(http://www.i
2014-03-03 19:02:38
1683
1
原创 二、【word2vec学习路线】语言模型分层优化
上篇介绍了神经网络语言模型,因为每次训练都与词表大小线性相关,所以too expensive。本篇主要介绍word2vec里面应用的一种加速优化的方法可以把O(|V|)复杂度降至O(log|V|)
2014-03-04 16:50:29
2219
原创 一、【word2vec学习路线】神经网络语言模型
1. 统计语言模型 (statistical model of language)统计语言模型中,把一段包含T个词的语料表示为w_t 表示第t个词,统计每个词在前面n个词出现的条件下的概率,用一幅图来表达就是:应用这个模型的时候,为了降低复杂度,基于马尔科夫假设(Markov Assumption):下一个词的出现仅依赖于它前面的一个或几个词,上面的公式可以近似
2014-03-03 18:59:55
4802
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人