Word2Vec

最新推荐文章于 2023-09-21 21:05:05 发布

一只NLP的萌新er

最新推荐文章于 2023-09-21 21:05:05 发布

阅读量1.2k

点赞数 2

分类专栏：文本分类新手练习项目文章标签：自然语言处理

本文链接：https://blog.csdn.net/qq_40377498/article/details/107511299

版权

本文深入探讨Word2Vec，一种词向量表示方法，涉及语言模型如N-gram、NNLM、RNNLM，重点介绍skip-gram和CBOW模型，以及层次Softmax和负采样等关键技术，旨在理解其背后的理论和应用。

摘要由CSDN通过智能技术生成

Word2Vec

背景知识
- 语言模型
- 词表示
对比模型
- NNLM
- RNNLM
模型结构
- skip-gram模型
- CBOW模型
关键技术
- Hierarchical Softmax (层次Softmax)
- 负采样（Negative Sampling）
模型复杂度分析
代码实现

背景知识

Word2Vec是一种词向量的表示方式，是在论文《Efficient Estimation of Word Representations in
Vector Space》中提出，有两种网络模型来训练（Skip-gram和CBOW模型）。由Word2Vec训练出来的词向量可以提升下游任务的性能、效果。

语言模型

语言模型是计算一个句子是句子的概率模型，即判断该句子是否合乎语义和语法。语言模型的建立方法有：基于专家语法规则的语言模型、统计语言模型、神经网络语言模型。
**基于专家语法规则的语言模型：**是由语言学专家设置一套规则而形成的语言模型，例如主谓宾结构的。
**统计语言模型：**基于统计概率的语言模型，即判断这个句子形成的概率。P(S)是句子的概率，P（W_i）是每个单词的概率。
$P{\left({S}\right)}=P{\left({W_1,W_2,...,W_n}\right)}=P{\left({W_1}\right)}P{\left( {W_2\left|W_1\right. }\right)}P{\left( {W_3\left|W_1W_2\right. }\right)}...P{\left( {W_n\left|W_1W_2W_3...W_n-1\right. }\right)}$
每个单词的概率是基于一定文档（语料）来求取的，即有一定数量的文档，统计每个单词在所有文档中出现的次数，再除以所有单词的总数，进而求得该单词的频率，用频率代替概率。

最低0.47元/天解锁文章

一只NLP的萌新er

关注

2
点赞
踩
2

收藏

觉得还不错? 一键收藏
6
评论
Word2Vec

Word2Vec背景知识语言模型词表示对比模型NNLMRNNLM模型结构skip-gram模型CBOW模型关键技术Hierarchical Softmax (层次Softmax)负采样（Negative Sampling）模型复杂度分析代码实现背景知识Word2Vec是一种词向量的表示方式，是在论文《Efficient Estimation of Word Representations inVector Space》中提出，有两种网络模型来训练（Skip-gram和CBOW模型）。由Word2Vec
复制链接

扫一扫