信息检索
憨憨coding
It's a new day.
展开
-
白话理解NLP中的负采样(Negative Sampling)
作用:Word2Vec中的Skip-Gram模型,提高训练速度实例:词表大小为1000,训练样本input是’quick’,output是’fox’,训练该样本时,对于他们表示的one-hot位置认为quick是positive,其余999个是negative。此时不是全部训练999个位置,而是随机采样5-6个位置,使得他们在输入quick的时候激活值变小,‘fox’激活值变大,从而提高训练速度。采样概率根据概率分布算出,具体可以参考传送门。...原创 2021-02-17 14:14:30 · 1684 阅读 · 0 评论 -
词项(term)与词条(token)区别
传送门转载 2020-09-28 21:47:57 · 2648 阅读 · 0 评论