语言判断（中文、英文、韩文等）

最新推荐文章于 2024-07-02 11:19:58 发布

您的电脑已关机

最新推荐文章于 2024-07-02 11:19:58 发布

阅读量693

点赞数

分类专栏： python 文章标签： python

本文链接：https://blog.csdn.net/qq_41110377/article/details/128733215

版权

python 专栏收录该内容

8 篇文章

订阅专栏

文章介绍了Python中用于语言检测的两个库——langdetect和langid，通过示例展示了它们如何确定文本的语言，并给出了它们的检测结果。langdetect基于首字符比例，而langid则根据占比最高来判断。在测试字符串中，尽管包含多种语言，langdetect识别出英文，langid则识别出中文。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

语言判断中文、日文等（langdetect和langid）

注：语言类型主要参考的是ISO 639-1语言编码标准，详见ISO 639-1百度百科

个人使用感受：langdetect主要是看首字符是什么语言就是什么语言，当然，可以取比例最高的，而langid是取得占比最高的语言

#方法一：langdetect
#这是直接看是什么语言的
from langdetect import detect
#这是看各个语言的占比
from langdetect import detect_langs

s1  ="how are you:中文中文中文中文中文中文중국어dsds中国語中国語中国語"print(detect(s1))
print(detect_langs(s1)) 

结果：
en    # 英文
[en:0.4285710541309797, zh-cn:0.4285702310485093, cy:0.1428561681475863] # 这里是所探测的句子中包含的比例及其所占的比例。







#方法二：langid

import langid
s3 = "how are you:中文中文中文中文중국어dsds中国語中国語中国語"
print(langid.classify(s3))   # langid.classify(s3)输出探测出的语言类型及其confidence score，其confidence score计算方式方法见：https://jblevins.org/log/log-sum-exp


结果：
('zh', -330.6410880088806)   # 中文