[深度学习] embedding 在test阶段遇到OOV怎么办
即使是char级别的rnn模型,在test阶段也会遇到OOV这种情况肯定是没法用embedding层的lookup的如果OOV情况不多,就可以当做UNK处理有两类思路:1. UNK有对应的embedding 这种情况怎么来的呢,就是把训练集中所有出现频率小于某个阈值的词都标记为UNK,当然也别太多,这样就得到了UNK的embedding,这里的embedding有
原创
2018-04-11 15:42:21 ·
9048 阅读 ·
4 评论