NLP
文章平均质量分 63
UQI-LIUWJ
这个作者很懒,什么都没留下…
展开
-
NLP 笔记:Skip-gram
1 skip-gram举例假设在我们的文本序列中有5个词,[“the”,“man”,“loves”,“his”,“son”]。假设我们的窗口大小skip-window=2,中心词为“loves”,那么上下文的词即为:“the”、“man”、“his”、“son”。这里的上下文词又被称作“背景词”,对应的窗口称作“背景窗口”。跳字模型能帮我们做的就是,通过中心词“loves”,生成与它距离不超过2的背景词“the”、“man”、“his”、“son”的条件概率,用公式表示即:......原创 2021-07-05 19:47:50 · 11043 阅读 · 2 评论 -
NLP学习笔记:word2vec
1词嵌入(word2vec)在自然语言这套系统中,词是表义的基本单元。但是在计算机以及程序运算中,词是识别不了的。任何的内容都需要转化成向量embedding的形式。于是我们就需要对词的特征进行表征,所以词向量就应运而生了。把词映射为实数域向量的技术也叫词嵌入(word embedding)。2 用onehot表示词向量的弊端...原创 2021-07-02 23:44:18 · 526 阅读 · 2 评论