nlp
憨憨coding
It's a new day.
展开
-
【speech&nlp】如何实现总体数据按照长短排序,同样长度数据随机排序
在做speech、nlp任务时,经常有这样一个需求:假设有一个数据集,有1000条数据,但是只有100种长度,所以必然存在某些数据是一样长的。我们想要让总体按照长短排序,但是同样长的数据要随机排序。经过了这个操作,再分batch,这样的效果就是同一个batch的数据长度差不多,对各种norm操作很友好,也节约显存;在每个epoch前进行这个操作可以实现不同epoch内数据的随机。发现了一段精美的代码,如下:def ordered_indices(self): """Return an o原创 2022-04-07 20:21:44 · 469 阅读 · 0 评论 -
BiSLTM+CRF解决序列标注、命名实体识别等任务最直观理解
BiLSTM-CRF模型最直观理解一句话概括:BiLSTM学习怎么说话,CRF层学习到句子的约束条件。目标:softmax+似然函数(负对数最小化),使得真实路径所占的比值越来越大。当计算所有路径总分时,不需要要列举出所有可能的路径(动态规划)。两种得分:Si = EmissionScore发射分数(状态分数) + TransitionScore转移分数。阅读推荐:【深度学习与NLP】如何理解LSTM+CRF做命名实体识别?...原创 2021-04-22 08:42:16 · 400 阅读 · 0 评论 -
白话理解NLP中的负采样(Negative Sampling)
作用:Word2Vec中的Skip-Gram模型,提高训练速度实例:词表大小为1000,训练样本input是’quick’,output是’fox’,训练该样本时,对于他们表示的one-hot位置认为quick是positive,其余999个是negative。此时不是全部训练999个位置,而是随机采样5-6个位置,使得他们在输入quick的时候激活值变小,‘fox’激活值变大,从而提高训练速度。采样概率根据概率分布算出,具体可以参考传送门。...原创 2021-02-17 14:14:30 · 1684 阅读 · 0 评论