![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
正门大石狮
写可以复现的实验,写可以看懂的理论。
展开
-
【连招】Pytorch Tensor 索引元素并判断是否为空
场景:我们对logits判断是否有大于0.5的元素,然后判断返回结果是否为空,如果为空,标记为无标签,否则标记为该元素的索引作为标签。原创 2021-09-10 11:18:12 · 2849 阅读 · 0 评论 -
mean_average_precision_at_r
这个指标的优点在于引入了:不同位置(距离的远近)的点对指标值的大小的贡献不同,这也比较符合认知,我们希望,如果有一个query,距离它最近的都是同类别的embedding,在预测时才能有一个比较好的表现。原创 2021-08-01 15:44:23 · 230 阅读 · 0 评论 -
vocab.get(word, vocab.get(UNK))
在自然语言处理中为tokenize后的句子进行转化成id时会用到,该代码的意思是,如果在词表vocab中有word这个单词,那么就取出它的id;如果没有,就去除UNK(未知词)对应的id,其中UNK表示所有的未知词(out of vocab)都对应该id,对应到下一步取词向量时,该id对应的词向量就表示所有未知词语义的平均。...原创 2021-07-06 22:49:13 · 1260 阅读 · 2 评论