汉字的Unicode范围(转)

最新推荐文章于 2024-07-04 16:04:39 发布
最新推荐文章于 2024-07-04 16:04:39 发布
阅读量257 收藏
点赞数
分类专栏： # LLM/数据处理&Tokenizer 文章标签： python 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/133643576
版权

在网上搜索了一下汉字的Unicode范围，普遍给出了“U+4E00..U+9FA5”。但事实上这个范围是不完整的，甚至连基本的全角（中文）标点也未包含在内。根据最新的Unicode 5.0版整理如下：

注：在绝大多数应用场合中，我们可以仅用（1）、（2）、（3）、（4）、（5）的集合作为CJK判断的依据。

1）标准CJK文字

UCD Documentation File Replaced

Code
point range

Block
name

Release

U+3400..U+4DB5

CJK Unified
Ideographs Extension A

3.0

U+4E00..U+9FA5

CJK Unified
Ideographs

1.1

U+9FA6..U+9FBB

CJK Unified
Ideographs

4.1

<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
汉字与UNICODE转换
08-11
Unicode编码体系分为多个平面，其中最重要的平面是基本多文种平面（Basic Multilingual Plane, BMP），码点范围从U+0000到U+FFFF。大部分常用汉字都位于BMP内，但也有一些罕见或历史性的汉字在其他平面，如补充平面...
unicode和汉字转换
10-28
Unicode 包含了大量的汉字，确保了在国际化的软件和网络中，中文字符能够被正确识别和处理。 汉字转换则涉及到将汉字编码为其他格式，如GBK、GB2312等，这些是中国大陆早期广泛使用的简体汉字编码。这些编码标准的...
正则相关
且学且进步
10-24 643
unicode编码范围： 汉字：[0x4e00,0x9fa5]（或十进制[19968,40869]） 数字：[0x30,0x39]（或十进制[48, 57]） 小写字母：[0x61,0x7a]（或十进制[97, 122]） 大写字母：[0x41,0x5a]（或十进制[65, 90]）
汉字的unicode码范围
Technology Space
04-14 1289
      汉字的unicode编码范围是4E00 - 9FA5      现在在做可扩展字符集的视频字幕OCR，碰到一个问题需要判断读入的字符是否为汉字，在网上找到了结果，顺便就做个记录，方便大家查询用。
Unicode 编码范围
m0_73239875的博客
09-09 642
1DC0-1DFF：结合用读音符号补充（Combining Diacritics Marks Supplement）2980-29FF：杂项数学符号-B（Miscellaneous Mathematical Symbols-B）2B00-2BFF：杂项符号和箭头（Miscellaneous Symbols and Arrows）3000-303F：CJK符号和标点（CJK Symbols and Punctuation）2E80-2EFF：CJK部首补充（CJK Radicals Supplement）
汉字的unicode范围
Sylvain_xyn的博客
05-30 1003
汉字的unicode范围是：0x4E00~0x9FA5
汉字 Unicode 编码范围
momodosky的博客
07-23 1910
字符集 字数 Unicode 编码 基本汉字 20902字 0x4E00-9FA5 基本汉字补充 74字 0x9FA6-9FEF 扩展A 6582字 0x3400-4DB5 扩展B 42711字 0x20000-2A6D6 扩展C 4149字 0x2A700-2B734 扩展D 222字 0x2B740-2B81D 扩展E 5762字 0x2B820-2CEA1 扩展F ..
unicode汉字范围
ethanzhou
08-04 160
0x4e00-0x9fff
Unicode汉字编号范围
gao_zhennan的博客
04-14 2827
十六进制表示法 \u4e00-\u9fa5
汉字 Unicode编码范围及 计算文本的中文英文字数
彳亍的技术博客
07-23 3176
汉字Unicode编码范围 u4e00~u9fff U+4E00～U+9FA5 是最常用的范围，即名为：CJK Unified Ideographs 的区块， U+9FA6～U+9FFF 之间的字符还属于空码，暂时还未定义，但不能保证以后不会被定义 def is_zh(char): """ :param char: 单个字符 :return: """ if u'\u4e00' <= char <= u'\u9fff':
Ansi转Unicode软件
03-01
总之，"Ansi转Unicode软件"是为了确保文本文件在全球范围内的兼容性和正确性而设计的工具，通过使用它可以避免因编码不一致导致的乱码问题。在Windows环境中，利用这样的工具可以方便地管理和共享包含多种语言的文本...
中文转Unicode
05-16
总之，“中文转Unicode”是处理中文文本时的关键技术，它使得信息在全球范围内能以统一的方式传输和存储，而“Unicode.exe”这样的工具则为非专业人士提供了便捷的转换途径。了解并掌握这一技术，对于从事IT工作的人...
汉字UNICODE互换工具.exe
07-26
UNICODE覆盖了包括汉字在内的多种语言字符，使得计算机系统能够在全球范围内进行文本处理和交换。在UNICODE中，每个汉字都有一个独一无二的数字代码，通常用十六进制表示，如“汉字”在UNICODE中的编码可能是“6C49...
Unicode编码表
向远处看的专栏
04-21 8293
<br />以下为Unicode编码清单，具体字符的编码表请下载Unicode编码表<br />1.  【0020-007F】 Basic Latin 基本拉丁字母<br />2.  【00A0-00FF】 Latin-1 Supplement 拉丁字母补充-1<br />3.  【0100-017F】 Latin Extended-A 拉丁字母扩充-A<br />4.  【0180-023F】 Latin Extended-B 拉丁字母扩充-B<br />5.  【0250-02AF】 IPA Exten
Unicode 编码范围和中文编码范围
兄弟联盟工作室的专栏
04-27 6114
首先将，unicode是全世界统一的编码规则，但是这个只规定了各种字符的数字编码（相当于一种标准），具体实现的存储方式有utff-8,utf-16,utf-32等形式。各种形式有不同的存储和与unicode代码的映射规则。 所以utf8其实不是一种单独的编码规则，只是unicode 的一种存储规则，也是unicode的一种，是变长的。 Unicode CJK 的范围分布在多个区段中，带
Unicode常用字符编码（大小写字母等）介绍
热门推荐
qq_46119575的博客
03-19 1万+
Unicode常用字符编码（大小写字母等）介绍
关于unicode编码的研究
幽空命记
03-28 363
以前写过一篇贴子是写中文在unicode中的编码范围 unicode中文范围，但写的不是很详细，今天再次研究了下unicode，并给出详细的unicode取值范围。   本次研究的unicode对象是unicode 5.2.0版本。现在最新的是6.0版 对于这次研究的unicode把编码分为以下几个平面(英文中是plane，可以认为就是不同的区位) Unicode可以逻辑分为17平面（Pl...
中文的unicode编码范围
98猛虎的博客
07-31 8485
中文的unicode编码范围是: \u4E00-\u9FA5\uf900-\ufa2d
Java基础:爬虫
最新发布
weixin_65752158的博客
07-04 953
Pattern:表示正则表达式Matcher:文本匹配器，作用按照正则表达式的规则去读取字符串，从头开始读取。在大串中去找符合匹配规则的子串。通过Pattern p = Pattern.compile("正则表达式");获得 通过Matcher m = p.matcher(str);获得 (m要在str中找符合p规则的小串)其中, m为Matcher对象, p为正则表达式规则, str为要验证的字符串. boolean b = m.find(); 表示拿着文本匹配器从头开始读取，寻找是否有
单片机unicode编码转中文C语言程序
05-26
在单片机中，如果需要将Unicode编码转换成中文，可以使用一些开源的库函数来实现。下面是一种可以在多种单片机平台上运行的实现方法。 首先，需要在C语言中定义一个包含所有中文字符的数组，例如GB2312编码的中文字库，可以使用如下代码： ```c const unsigned char gb_font[] = { // 从0xA1开始的中文字符，共有94个字符 // 每个字符占用16个字节，每个字节高位为0，低位为实际的字节值 // 根据GB2312编码，第一个字节的范围是0xA1-0xF7，第二个字节的范围是0xA1-0xFE // 因此，字库的大小为(0xF7-0xA1+1) * (0xFE-0xA1+1) * 16 = 67680个字节 // 这里只列出前面几个字的数据，具体数据可以参考字库文件 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, // 空格 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, // ! 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, // " 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, // # 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00 // $ // 其他字符的数据省略 }; ``` 接下来，可以使用Unicode编码的字符数组来表示中文字符串，然后使用字库中对应的汉字来进行转换。具体实现可以参考以下代码： ```c // 中文字符串 const unsigned short chinese_str[] = {0x4E2D, 0x6587, 0x5B57, 0x7B26}; // 将Unicode编码的中文字符串转换成GB2312编码的中文字符串 void unicode_to_chinese(unsigned short *unicode_str, char *chinese_str) { int i; for (i = 0; unicode_str[i] != 0; i++) { unsigned short ch = unicode_str[i]; // 在字库中查找对应的汉字 // 假设字库中每个汉字占用16个字节，字库地址为0x80000000 unsigned char *font = gb_font + (ch - 0xA1A1) * 16; // 将汉字转换成GB2312编码 chinese_str[i * 2] = font[0]; chinese_str[i * 2 + 1] = font[1]; } chinese_str[i * 2] = '\0'; } int main(void) { char chinese_str[sizeof(chinese_str) * 2 + 1]; unicode_to_chinese(chinese_str, chinese_str); printf("中文字符串：%s\n", chinese_str); return 0; } ``` 需要注意的是，上述代码中的字库地址和字库格式等都需要根据具体情况进行调整。此外，如果使用其他单片机平台，可能需要使用其他库函数或者自己实现字库解析和编码转换等功能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值