![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
星陈
记录历程 分享体验
展开
-
读论文—统计语言模型综述
1.n-Gram 统计语言模型n- gram 模 型于1980年提 出 来 , 是 一种 应用很 广 的统 计 语 言模 型。它 认为每个预测变量只与长度为n-1的上下文有关模型问题:然而 ,该方法存在一个问题 , 即可能存在某个 n-gr am, 它在学习语料集中没有出现 , 而可能出现在测试语料集中 ,类似的问题称作数据的稀疏问题。我们需要对这些没有出现在学习语料中的n-gram估计一...原创 2019-12-03 00:00:18 · 416 阅读 · 0 评论 -
读论文—基于统计模型改进Word2vec优化策略研究
项目项目项目项目1项目2项目3摘要后的摘要该文从训练词向量的语言模型入手,研究了经典skip-gram、CBOW语言模型训练出的词向量的优缺点,引入TFIDF文本关键词计算法,提出了一种基于关键词改进的语言模型。研究发现,经典skip-gram、CBOW语言模型只考虑到词本身与其上下文的联系,而改进的语言模型通过文本关键词建立了词本身与整个文本之间的联系,在词向量...原创 2019-11-17 17:25:01 · 569 阅读 · 0 评论