作用:Word2Vec中的Skip-Gram模型,提高训练速度
实例:词表大小为1000,训练样本input是’quick’,output是’fox’,训练该样本时,对于他们表示的one-hot位置认为quick是positive,其余999个是negative。此时不是全部训练999个位置,而是随机采样5-6个位置,使得他们在输入quick的时候激活值变小,‘fox’激活值变大,从而提高训练速度。采样概率根据概率分布算出,具体可以参考传送门。
白话理解NLP中的负采样(Negative Sampling)
最新推荐文章于 2022-05-28 11:00:51 发布