语言模型
文章平均质量分 57
nlpgeek
专注 好奇 geek
展开
-
基于对比学习的NN语言模型训练方法
语言模型、对比学习原创 2022-08-03 16:58:48 · 896 阅读 · 1 评论 -
jieba分词详解
语音识别中有一项任务就是训练语言模型,而对于中文的语言模型,需要事先进行分词。而语音识别中的语言模型还有个特殊的要求,就是语言模型中的所有词都必须在发音词典中(也就是说每个词都要有对应的发音)。因此这就限制了我们不能使用Stanford分词,哈工大分词等工具,因为这些分词工具分出来的词有可能不在发音词典中。现在在语音识别任务中最常使用的是scws机械分词,和jieba分词。经过实际比对,发现使用jieba分词后训练的语言模型会比scws好些。原创 2019-02-24 18:55:10 · 48025 阅读 · 0 评论