- 博客(3)
- 收藏
- 关注
RSS订阅
原创 WORD2VEC 学习路线
最近看NLP的东西比较多。就拿现在google 基于神经网络做的 word2vec 作为博客的开始吧，今后会陆陆续续补充内容。 基本是分4块内容： 1.神经网络语言模型 (http://machinelearning.wustl.edu/mlpapers/paper_files/BengioDVJ03.pdf) 2.语言模型分层优化(http://www.i
2014-03-03 19:02:38
1671
1
原创 二、【word2vec学习路线】语言模型分层优化
上篇介绍了神经网络语言模型，因为每次训练都与词表大小线性相关，所以too expensive。本篇主要介绍word2vec里面应用的一种加速优化的方法可以把O(|V|)复杂度降至O(log|V|)
2014-03-04 16:50:29
2205
原创 一、【word2vec学习路线】神经网络语言模型
1. 统计语言模型 （statistical model of language）统计语言模型中，把一段包含T个词的语料表示为w_t 表示第t个词，统计每个词在前面n个词出现的条件下的概率，用一幅图来表达就是：应用这个模型的时候，为了降低复杂度，基于马尔科夫假设（Markov Assumption）：下一个词的出现仅依赖于它前面的一个或几个词，上面的公式可以近似
2014-03-03 18:59:55
4789
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人