揭开字符的面纱（一）

最新推荐文章于 2020-01-13 22:17:30 发布
最新推荐文章于 2020-01-13 22:17:30 发布
阅读量134 收藏
点赞数 1
分类专栏： 字符编码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44842973/article/details/103171840
版权

在以前，一个字节8位最多表示256个字符（但是计算机字符编码只有0-127的编码。被称为ASCII编码），对于中文汉字是远远不够的。为了支持这些语言文字系统，双字节字符集（double-byte character ser，DBCS）因此而生。在双字节字符集中，一个字符串中的每个字符都有1或2个字符组成。对于这种不确定的字节数我们是很难判断的，Unicode也因此而生，正因为一句老话，存在即合理（自然选择）。

Unicode是1988年Apple和Xerox共同建立的一项标准；1991年成立协会专门开发；对于Unicode完整的描述可参考《The Unicode Standard》这本书。

在Windows Vista中，每个Unicode字符都是采用UTF-16编码（每个字符编码为两个字节）；即使统一采用两个字节，有一些汉字还是无法表示，UTF-16支持使用代理（surrogate）4个字节。.NET Framework 始终采用UTF-16来编码所有的字符和字符串，并且在Windows上编码，采用UTF-16开发程序，能够改进性能和减少内存消耗。

UTF-8：曾经我以为UTF-8只是用一个字节来表示字符，对于其中怎么实现一个字节存储那么多汉字却总是心存疑问，有这样想法的同学，希望能够认真看一段。UTF-8仅仅是一种编码标准，并不是说用一个字节或者8位来表示一个字符，而是采用1~4的字符来表示一个字符。比如说有些字符可以用1个字节表示，有些字符可以用2个字符表示，甚至可以用3或4个字符表示。UTF-8不是特定用一个字节或者8位表示，而是1至4个字节。

Unicode字符范围UTF-8字节数UTF-8编码方式
0x0000 ~ 0x00801个字节0xxxxxxx
0x0080 ~ 0x07FF2个字节110xxxxx 10xxxxxx
0x0800 ~0xFFFF3个字节1110xxxx 10xxxxxx 10xxxxxx
代理对4个字节11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

UTF-8编码规则：
（1）对于ASCII（单字节字符）字符，采用和ASCII相同的编码方式，即只使用一个字节表示，且该字节第一位为0.
（2）对于多字节（2~4字节）字符，假设字节数为n（1 < n <= 4），第一个字节：前n位都设为1，第n+1位设为0；后面的n-1个字节的前两位一律设为10。所有字节中的没有提及的其他二进制位，全部为这个符号的unicode码。

UTF-32：将每个字符都编码为4个字节，从内存角度来看，这种方式并不高效。

国际标准化组织(ISO)及国际电工委员会(IEC)联合制定了一系列8位字符集的标准，统称为ISO 8859（全称ISO/IEC 8859）。注意，这是一系列字符集的统称。如ISO/IEC 8859-1（也就是常听到的Latin-1）支持西欧语言，ISO/IEC 8859-4（Latin-4）支持北欧语言等。
完整列表如下：（摘自百度百科）
ISO/IEC 8859-1 (Latin-1) - 西欧语言
ISO/IEC 8859-2 (Latin-2) - 中欧语言
ISO/IEC 8859-3 (Latin-3) - 南欧语言，世界语也可用此字符集显示。
ISO/IEC 8859-4 (Latin-4) - 北欧语言
ISO/IEC 8859-5 (Cyrillic) - 斯拉夫语言
ISO/IEC 8859-6 (Arabic) - 阿拉伯语
ISO/IEC 8859-7 (Greek) - 希腊语
ISO/IEC 8859-8 (Hebrew) - 希伯来语(视觉顺序)
ISO 8859-8-I - 希伯来语(逻辑顺序)
ISO/IEC 8859-9 (Latin-5 或 Turkish) - 它把Latin-1的冰岛语字母换走，加入土耳其语字母。
ISO/IEC 8859-10 (Latin-6 或 Nordic) - 北日耳曼语支，用来代替Latin-4。
ISO/IEC 8859-11 (Thai) - 泰语，从泰国的 TIS620 标准字集演化而来。
ISO/IEC 8859-13 (Latin-7 或 Baltic Rim) - 波罗的语族
ISO/IEC 8859-14 (Latin-8 或 Celtic) - 凯尔特语族
ISO/IEC 8859-15 (Latin-9) - 西欧语言，加入Latin-1欠缺的芬兰语字母和大写法语重音字母，以及欧元符号。
ISO/IEC 8859-16 (Latin-10) - 东南欧语言。主要供罗马尼亚语使用，并加入欧元符号。

但是西方国家没有想到东方还有一个拥有5000年悠久历史的文明大国，其汉字也是成千上万！！！所以在计算机引入中国后，国家技术监督局设计了GB系列编码方案（GB=guo biao）。GB编码采用两个字节表示一个汉字；同时兼容ASCII编码，规定各个字节的最高位（首位）必须为1，从而避免和最高位为0的ASCII字符集冲突。

编码名称字节数汉字范围
GB2312变字节（ASCII 1字节，汉字2个字节）6763个汉字
GB13000变字节（ASCII 1字节，汉字2个字节）20902个汉字
GBK2个字节21886个汉字和图形符号（含GB2312，BIG5中所有字符）
GB18030变字节（ASCII 1字节，汉字2个或4个字节）27484个汉字

了解字符编码对我们深入理解计算机系统有很大的好处，这也是基础中的基础。如果有错，希望大佬们能够指出，加以改进。

Vector_PX
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
揭开正则表达式的神秘面纱
10-25
正则表达式（regular expression）描述了一种字符串匹配的模式，可以用来：（1）检查 一个串中是否含有符合某个规则的子串，并且可以得到这个子串；（2）根据匹配规则对字符串进行灵活的替换操作。 正则表达式学习...
揭开字符的面纱（二）
努力学习
11-21 141
上面一节提到了字符的表示方式，这一节主要讲他们的由来以及微软给出的解决方案。 在《Windows核心编程中》有提到，从Windows NT开始，Windows的所有版本都完全用Unicode来构建。这个意思就是说，即使你用的是ASCII字符或者ASCII字符串（一个字符一个字节），都将在内部转换成Unicode字符。**在大部分的Windows的API中都有xxxxxxA、xxxxxxW以及xxx...
揭开字符设备驱动程序的面纱
djinglan的专栏
04-24 794
Linux驱动开发庖丁解牛之三 ——揭开字符设备驱动程序的面纱 http://www.kuqin.com/article/04linux/1047068.html By:dreamice 2008-11-23 [email][email protected][/email] 1．写在前面的话 我们知道，在Linux设备驱动开发中，包括三大设
揭开链接器的面纱
as3lan的博客
01-13 84
揭开链接器的面纱 深度分析 解决方案 通过内嵌汇编自定义打印函数和退出函数（INT 0x80） 通过链接叫吧自定义入口函数(不依赖任何库和GCC内置功能) 删除可执行程序中的无用信息（无用断信息，无用信息删除） 打印函数设计 void print(const char *str, int l) { asm volatile( "movl $4, %%eax\n" //sys_wri...
揭开正则表达式的神秘面纱(regexlab出品)
11-21
正则表达式（regular expression）就是用一个“字符串”来描述一个特征，然后去验证另一个“字符串”是否符合这个特征。比如 表达式“ab+” 描述的特征是“一个 ‘a’ 和 任意个 ‘b’ ”，那么 ‘ab’, ‘abb’, ...
Javascript的表单验证-揭开正则表达式的面纱
11-23
在上篇文章给大家介绍了javascript的表单验证-初识正则表达式，本文给大家介绍Javascript的表单验证-揭开正则表达式的面纱，具体详情请看全文。 用元字符匹配相应的字符类型 创建正则表达式有点像创建字符串字面量，...
Linux驱动开发庖丁解牛之三 揭开字符设备驱动程序的面纱
08-29
Linux驱动开发庖丁解牛之三 揭开字符设备驱动程序的面纱
python学习导航.txt
05-06
python
node-v8.3.0-linux-s390x.tar.xz
05-06
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
嵌入式微处理器设计及应用
05-06
摘要：为满足智能家居座椅的交互式运动控制需求，基于AT89S52设计了嵌入式座椅运动控制系统。使用VB.net设计了游戏手柄按键读取软件，并在此基础上设计了座椅运动控制软件，软件可分别在“手柄模式”和“鼠标模式”下与嵌入式座椅运动控制器通信，进而控制座椅进行加速、减速、正转和反转等运动；构建了控制系统实验装置，实验结果表明，“鼠标模式”下，通过鼠标点击控制软件上功能按钮可实现对座椅的准确运动控制；“手柄模式”下，游戏手柄不仅可控制座椅运动，还可同步控制电脑上运行的游戏或远程遥控车，实现浸入感较强的座椅运动娱乐应用。
2024年中国NFC RFID阅读器行业研究报告.docx
05-06
2024年中国NFC RFID阅读器行业研究报告
node-v9.9.0-linux-ppc64le.tar.xz
最新发布
05-06
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
04-18 周四 为LLM-inference项目配置GitHub CI过程记录
05-06
04-18 周四 为LLM-inference项目配置GitHub CI过程记录
2024年中国AI和机器视觉行业研究报告.docx
05-06
2024年中国AI和机器视觉行业研究报告
计算机二级【公共基础知识速学教程】.pdf
05-06
内容概要：这份资料包含了计算机二级公共基础知识速学教程的内容大纲，涵盖了数据结构与算法、程序设计基础、软件工程基础、数据库设计基础等多个章节。其中包括了算法复杂度、数据结构、栈、队列、链表、二叉树、查找、排序等内容，以及程序设计方法、软件工程概念、数据库设计原理等知识点。 适用人群：适合希望系统学习计算机二级公共基础知识的学生、计算机专业学习者、程序员、软件工程师以及对数据结构、算法和数据库设计感兴趣的人群，希望通过系统学习提升自己的计算机基础知识和技能。 使用场景及目标：该教程可用于计算机相关专业的课程学习、自学提升或备考计算机二级公共基础考试。学习者可以通过逐章学习和实践，掌握数据结构与算法、程序设计基础、软件工程基础和数据库设计基础等知识，提高自己在计算机领域的理论基础和实践能力。 其他说明：学习者在使用这份教程时，可以结合实际案例和练习题进行深入学习和巩固。建议按照章节顺序系统学习，理解各个知识点的概念和应用，并通过实践项目或练习加深对计算机基础知识的理解和掌握。通过系统学习，可以提升自己在计算机领域的专业水平和能力。
减肥管理，全球前10强生产商排名及市场份额.docx
05-06
减肥管理，全球前10强生产商排名及市场份额
04-19 周五 GitHub actions-runner 程序解释
05-06
04-19 周五 GitHub actions-runner 程序解释
c++ 字符串拷贝一部分
05-25
可以使用 `strcpy()` 函数来拷贝一个字符串的一部分。该函数的原型如下： ```c++ char* strcpy(char* dest, const char* src); ``` 其中，`dest` 是目标字符串，`src` 是源字符串。 `strcpy()` 函数会将 `src` 字符串中的字符拷贝到 `dest` 字符串中，直到遇到空字符（'\0'）为止，包括空字符。因此，如果想要拷贝源字符串的一部分，可以先将要拷贝的部分复制到一个临时字符串中，并在结尾添加一个空字符，然后再使用 `strcpy()` 函数将该临时字符串拷贝到目标字符串中。 下面是一个示例代码，拷贝源字符串的前5个字符到目标字符串中： ```c++ #include <iostream> #include <cstring> using namespace std; int main() { char src[] = "Hello, world!"; char dest[6]; // 目标字符串只有5个字符的空间，最后一个字符必须是 '\0' 空字符 strncpy(dest, src, 5); // 拷贝源字符串的前5个字符 dest[5] = '\0'; // 手动添加空字符 cout << "dest: " << dest << endl; return 0; } ``` 输出结果为： ``` dest: Hello ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值