VariableX的博客

系列文章：【word2vec】篇一：理解词向量、CBOW与Skip-Gram等知识【word2vec】篇二：基于Hierarchical Softmax的 CBOW 模型和 Skip-gram 模型【word2vec】篇三：基于Negative Sampling 的 CBOW 模型和 Skip-gram 模型Negative Sampling是这么一种求解word2vec模型的方法，它摒弃了霍夫曼树，采用了Negative Sampling（负采样）的方法来求解。负采样算法在CBOW模型中，

文章目录CBOW 模型基本结构目标函数梯度计算Skip-gram 模型基本结构梯度计算优缺点分析本篇是介绍基于Hierarchical Softmax的 CBOW 模型和 Skip-gram 模型。CBOW 模型基本结构CBOW 模型是在已知当前词wtw_twt​的上下文wt−2,wt−1,wt+1,wt+2w_{t-2},w_{t-1},w_{t+1},w_{t+2}wt−2​,wt−1​,wt+1​,wt+2​的前提下预测当前词wtw_twt​。后面我们用comtext(w)comtext(w)

文章目录词向量基础One-hot representionDistributed Representationword2vec 基础知识CBOW 和 Skip-gram霍夫曼树由于计算机不能直接对各种字符进行运算，为此需要将词的表示进行一些转换。因此，在自然语言处理中，通常需要对输入的语料进行一些预处理：其中，如何对词汇进行表示是很关键的问题，糟糕的表示方法容易导致所谓的 “Garbage in, garbage out”。词向量基础对词汇的表示，常见的有One-hot represention

文章目录语言模型的计算n-gram 语言模型n-gram 平滑技术神经网络语言模型(NNLM)基本思想神经网络语言模型小结语言模型评价指标—困惑度语言模型是自然语言处理中的重要技术，假设一段长度为TTT的文本中的词依次为w1,w2,…,wTw_1, w_2, \ldots, w_Tw1​,w2​,…,wT​，语言模型将计算该序列的概率：P(w1,w2,…,wT).P(w_1, w_2, \ldots, w_T).P(w1​,w2​,…,wT​).语言模型有助于提升自然语言处理任务的效果，例如在语音