检查字符串的输入是何种语言-通过unicode代码点进行判断

上一篇文章,这里介绍了如何手动编写程序判断字节串的输入是何种编码方式,有了编码之后,就可以解码成为对应的字符串,然后判断对应的语言类型,本节简单介绍一下如何判断语言类型。

Python实际上将字符串和字节串做了严格的区分。字节串可以理解为字符对应的存储形式,比如’你好’这两个字符,其对应的utf8以及gb2312编码后的字节串也就是码流(长度和对应的值)是不一样的,即同样的字符串有不同的表现形式。而字符’你好’无论在何种情况下表示的还是这两个字符,其本身所表示的含义不会因为编码方式的不同而发生变化。Python对于任何编码类型的字符串输入,需要首先转换为python内部的字符串表示形式,而python内部采用unicode的代码点表示字符串。因此首先将输入的字节串从utf8(假设字节串采用的是utf8编码)转换为unicode代码点。由于汉字和英文在unicode中都是有对应的代码点范围,英文是0x00-0x7F,中文是0x4e00-0x9fff。因此可以根据unicode代码点的不同判断是何种语言。如下:

def is_chinese(text):

    for ch in str:
        if u'\u4e00' <= ch <= u'\u9fff':
            continue
        else:
            return False 
    return True

def is_english(text):

    for ch in str:
        if u'\u0000' <= ch <= u'\u007F':
            continue

        else:
            return False 
    return True

但是改种方式有一个问题在于不同的语言在相互包含的时候会出现问题,比如汉语中出现了一个英文的逗号,其判定结果就不会是中文。或者中文中包含了一些常用的英文,比如iphone,这个时候的判断就会出现问题。那么面对这样的场景,本文的方法就不在适用,我将在后续的文章中采用一些高效的开源模块进行分享。

本文为CSDN村中少年原创文章,转载记得加上小尾巴偶,博主链接这里

村中少年 CSDN认证博客专家 网络安全 IDS/DPI 网络协议
网络安全工程师,计算机科学与技术本硕,多年从事DPI深度报文检测,IDS网络入侵检测等网络安全引擎方面经验,热爱技术,分享知识
©️2020 CSDN 皮肤主题: 撸撸猫 设计师:设计师小姐姐 返回首页
实付 19.90元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值