NLP
文章平均质量分 86
qjf42
这个作者很懒,什么都没留下…
展开
-
关于词向量的一些理解
数学上如何解释?有很多种解释,其中一种是相对简单的:《Neural Word Embedding as Implicit Matrix Factorization》文中对skipgram (negative sampling) 的损失函数进行了重新整理后发现,实际上, w→⋅c→=log(#(w,c)⋅|D|#(w)⋅#(c)⋅1k)=log(#(w,c)⋅|D|#(w)⋅#(c))−...原创 2018-03-24 00:08:03 · 2016 阅读 · 1 评论 -
N-gram语言模型 & Perplexity & 平滑
一、N-gram语言模型二、Perplexity(困惑度)三、平滑方法问题常用方法Laplace平滑 (add-one, add-α)Good-Turing SmoothingBackoff (Katz) Interpolation(Jelinek-Mercer)Recursive InterpolationAbsolute DiscountingWitten-Be...原创 2018-04-03 18:16:20 · 7189 阅读 · 3 评论