Unicode编码

最新推荐文章于 2023-08-09 21:10:45 发布
最新推荐文章于 2023-08-09 21:10:45 发布
阅读量1.4k 收藏 2
点赞数
分类专栏： 基础知识 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liubin051/article/details/120082797
版权
本文介绍了Unicode编码的作用，它是对各国文字、标点符号等进行编码的系统，以避免编码冲突。文中通过问答形式详细解释了Unicode编码范围，包括中文编码 `[ u4e00-u9fa5]`，并探讨了为何某些Unicode字符显示为空白或豆腐块，这通常是因为缺少对应字体。此外，还提到了全角和半角字符的区别及其转换规律。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

复盘最基础的知识： 

问：网上搜索，中文的正则，一般用 [ \u4e00-\u9fa5] 即可搞定， [ \u4e00-\u9fa5] 是什么？

答： [ \u4e00-\u9fa5]  是一个范围，是Unicode编码表里的一段编码与中文的映射

问：那么Unicode是什么？

答：对各国文字、标点符号、特殊字符进行编码，避免不同文字编码冲突，计算机不知道这个编码到底是映射哪个图标、符号；

问：Unicode的编码范围有多少？中文 [ \u4e00-\u9fa5] 在什么位置？

答：自己看百度百科，我贴过来了，看下面也一样，我认为使用[\u0000-\uFFFF]就够了，啥火星文、鸟语、图标都在里面。

编码范围：说明

0000-007F：C0控制符及基本拉丁文 (C0 Control and Basic Latin)

0080-00FF：C1控制符及拉丁文补充-1 (C1 Control and Latin 1 Supplement)

0100-017F：拉丁文扩展-A (Latin Extended-A)

0180-024F：拉丁文扩展-B (Latin Extended-B)

0250-02AF：国际音标扩展 (IPA Extensions)

02B0-02FF：空白修饰字母 (Spacing Modifiers)

0300-036F：结合用读音符号 (Combining Diacritics Marks)

0370-03FF：希腊文及科普特文 (Greek and Coptic)

0400-04FF：西里尔字母 (Cyrillic)

0500-052F：西里尔字母补充 (Cyrillic Supplement)

0530-058F：亚美尼亚语 (Armenian)

0590-05FF：希伯来文 (Hebrew)

0600-06FF：阿拉伯文 (Arabic)

0700-074F：叙利亚文 (Syriac)

0750-077F：阿拉伯文补充 (Arabic Supplement)

0780-07BF：马尔代夫语 (Thaana)

07C0-077F：西非书面语言 (N'Ko)

0800-085F：阿维斯塔语及巴列维语 (Avestan and Pahlavi)

0860-087F：Mandaic

0880-08AF：撒马利亚语 (Samaritan)

0900-097F：天城文书 (Devanagari)

0980-09FF：孟加拉语 (Bengali)

0A00-0A7F：锡克教文 (Gurmukhi)

0A80-0AFF：古吉拉特文 (Gujarati)

0B00-0B7F：奥里亚文 (Oriya)

0B80-0BFF：泰米尔文 (Tamil)

0C00-0C7F：泰卢固文

最低0.47元/天 解锁文章
全角字符unicode码对应表
编程开发资料库
06-19 1万+
Uni. GB 　 Uni. GB 　 Uni. GB 　 Uni. GB 　 Uni. GB 　 00A4 A1E8 ¤ 00A7 A1EC § 00A8 A1A7 ¨ 00B0 A1E3 ° 00B1 A1C0 ± 00B7 A1A4 · 00D7 A1C1 × 00E0 A8A4 à 00E1 A8A2 á 00E8 A...
全角字符Unicode编码及解问题中用到的Java基础知识
u011938614的专栏
02-19 1536
问题：安卓手机输入法中的符号键盘的部分符号并没有显示在正中间。 分析：在代码中，符号键盘是一个textView，并且已经设置了setPadding（0,0,0,0）和 setGravity(Gravity.CENTER) ，继续分析，通过ttf查看软件，发现使用的ttf文件中字符本来就不在中间。想要修改的话，获取不到font中的上下间距，没办法调整，只能用笨办法，挨个判断加paddingBott
b unicode & base64 & url code 常用code解释说明
wanxiaoderen的博客
06-06 933
codeunicodeutf-8utf-16UTF-32url 转义字符保留字符不安全字符base64转化规则 unicode unicode，ascll码只能显示128个数，所以unicode允许多个字节表示 详细介绍 unicode 有三种编码：1byte、2byte或3byte utf-8 在HTML和类似协议上非常常用。UTF-8使用变长编码。它的优点是，对应于ASCII字符集的那些Unicode字符的字节值与它们在ASCII中的值完全相同，因此使用UTF-8编码的Unicode字符可以在绝大多数已
UNICODE编码
tonton的专栏
01-03 1625
这是一篇程序员写给程序员的趣味读物。所谓趣味是指可以比较轻松地了解一些原来不清楚的概念，增进知识，类似于打RPG游戏的升级。整理这篇文章的动机是两个问题：问题一：使用Windows记事本的“另存为”，可以在GBK、Unicode、Unicode big endian和UTF-8这几种编码方式间相互转换。同样是txt文件，Windows是怎样识别编码方式的呢？我很早前就发现Unicode、Unico
全角与半角转换（unicode编码）
消极的人永远是对的，积极的人选择勇往直前
02-23 1112
全角与半角转换（unicode编码）
unicode编码和gbk编码之间进行相互转换的C语言代码 使用二分法进行查找
09-03
Unicode编码和GBK编码是计算机编码体系中两种不同的字符编码标准。Unicode旨在为全球各种语言和符号提供一个统一的编码方案，而GBK则是基于GB2312的扩展，主要针对简体中文汉字进行编码。由于两者在字符集和编码方式...
完整UNICODE编码表
11-09
### 完整Unicode编码表解析 #### Unicode简介 Unicode是一种国际化的字符编码标准，它采用双字节（16位）进行编号，可以容纳65,536个字符，几乎覆盖了世界上所有语言的字符集。这使得Unicode成为全球范围内广泛...
完整Unicode编码表
03-30
Unicode编码表是一种国际标准，用于文本的编码、处理和显示，它旨在为世界上所有的字符提供一个独一无二的数字，无论它们在哪个语言中。随着Unicode 10.0版本的发布，编码表内容进一步扩充，增加了新的字符，以满足...
IconfontTool.7z 阿里巴巴iconfont 字体库，显示图标及相应的unicode 编码。 .NET 5平台
10-27
IconfontTool可能是专门为.NET 5平台设计的一个实用工具，它允许用户查看和管理Iconfont中的图标及其Unicode编码。这个工具可能具有以下功能： 1. **图标浏览**：提供一个图形界面，用户可以预览和搜索Iconfont库中...
C实现数字转Unicode码
12-19
总的来说，C语言实现数字到Unicode码的转换涉及对Unicode编码的理解、选择合适的编码方案以及可能需要的字节顺序处理。在处理Unicode时，应确保充分理解其工作原理，以便编写出正确且高效的应用程序。
ASCII、Unicode、UTF-8、GBK、全角/半角
tt丫的博客
07-01 2078
1、ASCII 2、Unicode 3、UTF-8 4、GB2312 5、GBK 6、\u和\x 二、相互转化 1、str 与ASCII 2、str与utf-8 3、str转gbk 4、在编码时想看到底是哪个字符编码失败时，引用try except查看
全角字符和半角字符
qq_15821487的博客
08-09 994
当年在纯文本的界面中，为了让西文和中日韩的方块字对齐，就让西文字母、数字和标点也占用一个汉字的视觉空间，并使用 2 个字节存储。而其它的许多全角符号失去了价值，因为我们现在很少需要让纯文本的中文和西文字字对齐了，就很少再用了。所以这些没什么用的全角字符也留下来了。其实有些字符编码相关知识的同学可以很清楚的看出：全角字符和半角字符在字符集中就是两个码不同的字符，他们表示的含义相同，但是展示的效果有差异。第一点大多数朋友都明白，也最直接，那就是使用全角和半角打出的字的形状是不一样的。
简简单单搞明白gbk,utf-8,unicode,ansi编码，半角全角
mastergu2的博客
06-03 2528
一直以来对于编码问题就晕晕乎乎的，一直搞不清楚其中的原理，这次认认真真的学习了一下，主要还是从这篇文章中节选： https://blog.csdn.net/LSXGM/article/details/80494258 原文稍微有点长，这里我就用自己的理解总结一下，看不懂的话可以去看原文，说得非常清楚。 从大方面总括一下来说，GBK是中国的编码，UTF-8是国际化的编码（兼容GBK），而ANSI其实是一种自动适应的编码，即在中国，ANSI就是GBK，在国外，就是国外的编码（不一定全是UTF-8），全角就是中国
A-Z,a-z,0-9的unicode编码表
热门推荐
Dawn
02-29 6万+
A-Z 的 Unicode 字符编码表   十进制　　　 十六进制 1.“A”的 Unicode 编码为：   2.“B”的 Unicode 编码为：   3.“C”的 Unicode 编码为：   4.“D”的 Unicode 编码为：   5.“E”的 Unicode 编码为：   6.“F”的 Uni
Python字符串前u r b的含义以及unicode
定格空间
09-29 411
字符串前面添加u,r,b的含义 u/U:表示unicode字符串 不是仅仅是针对中文, 可以针对任何的字符串，代表是对字符串进行unicode编码。 一般英文字符在使用各种编码下, 基本都可以正常解析, 所以一般不带u；但是中文, 必须表明所需编码, 否则一旦编码转换就会出现乱码。 建议所有编码方式采用utf8 r/R:非转义的原始字符串 与普通字符相比，其他相对特殊的字符，其中可能包含转义字符，...
ArcMap中设置字体符号Character Marker Symbol指定某字的unicode
11-27 5768
在ArcMap中设置点的符号时，有时会用到汉字等字体作为样式， 比如，在设置危险品的时候，可能会使用“危”字作为点图元的符号来显示 设置点图元符号的方法：在图层的右键菜单中点击“Properties”,即出现 “Layer Properties”窗体，在Symbology选项卡中，可点击样式， 弹出Symbol Selector 对话框，在此对话框中点“Properties...”按钮， 出现“Symbol Property Editor”对话框，在此对话框中可进行相应设置， 在Type下拉列表中选择“Ch
unicode编码
最新发布
03-29
<think>好的，用户想了解Unicode编码的相关信息，特别是介绍和使用方法。我需要先回忆一下Unicode的基本概念，然后分层次讲解。首先，得明确Unicode的设计目标是什么，解决什么问题。ASCII只能表示128个字符，显然不够用，所以各国出现了各种编码标准，比如GB2312、Shift-JIS等，但这样会导致乱码问题。Unicode就是为了统一这些编码，为每个字符分配唯一的编号，即码点。 接下来要解释Unicode的分层结构。根据用户提供的引用[2]，Unicode的编码分为几个层次：字符集、码元序列、编码方案。我需要详细说明每个层次的作用。比如，字符集是抽象字符的集合，码点对应到每个字符，然后编码方式如UTF-8、UTF-16将这些码点转换为字节序列。这里需要区分逻辑编码和物理编码，可能用户容易混淆这两个概念，所以要讲清楚。 然后，常见的Unicode编码方式，比如UTF-8、UTF-16、UTF-32，要分别介绍它们的特点，比如UTF-8是变长的，兼容ASCII，适合网络传输；UTF-16在Java和Windows中常用，UTF-32固定四字节，处理简单但空间占用大。这部分需要举例说明，比如汉字“你”的Unicode码点和不同编码后的结果，这样用户更直观。 使用方法部分，需要涵盖不同编程语言中的处理，比如Python3的字符串默认是Unicode，如何编码和解码，文件处理时的注意事项。还要提到Web开发中的HTTP头和HTML meta标签设置编码，数据库的字符集选择，以及移动应用中的支持。这些都是实际应用中的常见场景，用户可能想知道如何具体操作。 还要注意用户可能存在的误区，比如把Unicode等同于UTF-8，或者不理解为什么需要编码转换。需要强调Unicode是标准，而UTF-8等是实现方式。同时，处理多语言环境时，正确的编码设置非常重要，否则会出现乱码问题。 最后，生成的相关问题需要考虑用户可能的后续疑问，比如与ASCII的区别、选择编码方式的考虑因素、处理乱码的方法、多语言支持，以及编码在编程中的具体应用。这些问题能帮助用户深入理解并解决实际问题。 检查是否有遗漏的部分，比如Unicode版本的发展，可能用户不需要太深入，但可以提到Unicode在不断扩展，支持更多字符。另外，确保引用的内容正确，引用[2]主要讲编码层次，需要正确对应到解释部分。 总的来说，结构应该是先介绍Unicode的概念和背景，然后分层解析，再讲具体编码方式，接着是使用方法和实例，最后注意事项和常见问题。保持语言简洁明了，避免技术术语过多，必要时举例说明，让用户更容易理解。</think>### Unicode 编码介绍及使用方法 #### 一、Unicode 编码简介 Unicode 是为解决字符编码混乱问题设计的国际标准，旨在为全球所有字符（包括文字、符号、表情等）分配唯一的数字编号（称为**码点**，Code Point）。例如： - 字符 `A` 的码点为 `U+0041` - 汉字 `你` 的码点为 `U+4F60` - 表情符号 😊 的码点为 `U+1F60A` #### 二、核心分层结构 Unicode 编码的实现分为四层[^2]： 1. **字符集（CCS）**：定义字符与码点的映射关系。 2. **逻辑编码（CEF）**：将码点转换为码元序列（如 UTF-8、UTF-16）。 3. **物理编码（CES）**：将码元序列转换为字节流（如字节序标记处理）。 #### 三、常见 Unicode 编码方式 1. **UTF-8** - **特点**：变长编码（1-4字节），兼容 ASCII，适合网络传输。 - **示例**：汉字 `你`（U+4F60）的 UTF-8 编码为 `E4 BD A0`。 2. **UTF-16** - **特点**：使用 2 或 4 字节，广泛用于 Java 和 Windows 系统。 - **示例**：`U+4F60` 编码为 `4F60`（2字节）。 3. **UTF-32** - **特点**：固定 4 字节，处理简单但空间效率低。 #### 四、使用方法 1. **编程语言支持** - **Python3**：字符串默认使用 Unicode，可通过 `encode()` 和 `decode()` 转换： ```python s = "你好" utf8_bytes = s.encode('utf-8') # 编码为字节流 decoded_str = utf8_bytes.decode('utf-8') # 解码回字符串 ``` - **Java**：内部使用 UTF-16，文件读写需指定编码： ```java String text = new String(bytes, StandardCharsets.UTF_8); ``` 2. **文件与网络传输** - 文件保存时需明确编码格式（如 UTF-8 with BOM）。 - HTTP 协议通过 `Content-Type: text/html; charset=utf-8` 声明编码。 3. **数据库存储** - 选择支持 Unicode 的字符集（如 MySQL 的 `utf8mb4`）。 #### 五、注意事项 - **字节序问题**：UTF-16/32 需处理大端（BE）或小端（LE）格式，可通过 BOM（如 `FEFF`）标识。 - **乱码根源**：编码与解码时使用的字符集不一致（如用 GBK 解码 UTF-8 字节流）。 --- ### § 相关问题 § 1. Unicode 和 ASCII 编码的主要区别是什么？ 2. 如何选择 UTF-8、UTF-16 或 UTF-32 编码？ 3. 如何处理文本文件中的乱码问题？ 4. Unicode 如何支持多语言混合文本？ 5. 在编程中如何避免字符编码错误？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值