谷歌langdetect模型识别速度慢,但准确率低,对日语的准确率较可
langid模型(朴素贝叶斯)识别速度较快,准确率较好
fastlid模型(基于fasttext网络模型)识别速度快,准确率好
先使用fastlid快速筛选潜在的小语种,再经过langid过滤一层,最后用langdetect对是否日语进行确认
谷歌langdetect模型识别速度慢,但准确率低,对日语的准确率较可
langid模型(朴素贝叶斯)识别速度较快,准确率较好
fastlid模型(基于fasttext网络模型)识别速度快,准确率好
先使用fastlid快速筛选潜在的小语种,再经过langid过滤一层,最后用langdetect对是否日语进行确认