Unicode编码详解【对于每一个字符编码的值，叫做码位（code point）；小写字母a的码位为97，对应十六进制为\x61】【码位的总范围为\x0到\x10FFFF，共1,114,112个码位】

已于 2023-08-12 18:48:18 修改
阅读量284 收藏 1
点赞数
分类专栏： # LLM/数据处理&Tokenizer 文章标签： 人工智能
于 2023-08-12 14:57:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/132248768
版权
本文深入浅出地介绍了Unicode编码，包括ASCII的基础、Unicode的码位概念、半角/全角字符的区别、HTML/XML实体转义以及Unicode的各种编码形式。旨在帮助开发者理解Unicode的主要知识点，应对非专业字符编码需求。
摘要由CSDN通过智能技术生成

Unicode码表-在线查找

多年前仔细了解过一次Unicode编码，但是没有落下笔记，最终今天尝试改一下过去的代码的时候，竟然发现看不懂了(我的两个小项目：正则可视化 和 JS工具函数库)。所以再次记录一下，本文尝试搞懂对Unicode的所有主要疑惑，目标是看完该文章，足以应对所有非专业字符编码相关的需求开发，不过多深究细节。

简介

本文会依次介绍ASCII、Unicode、全角半角、HTML/XML转义、UTF32、UTF16、UTF8，BOM。且每个知识点都会加上TL;DR;用于一句话明白这个是干嘛使的，赶时间就只看TL;DR;也可以。文章同步发在我的

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
USB 之二 USB2.0 规范详解 第二部分
技术干货
04-20 1万+
注意 对于物理特性仅做简单说明 主要是针对 USB 2.0 规范的第九章、第十章和第十一章。之前章节见后续见 第一部分 下面的举例报文为使用Bus Hound监听的U盘插入时的报文，报文见后文附件。   USB 设备第一次连接到主机时, 要接收主机枚举( Enumeration) 和配置(Configuration) ，目的是让主机知道设备功能、是哪一类的USB 设备、占用多少资源、使用了...
A-Z,a-z,0-9的unicode编码表
adasdsa213231的专栏
08-28 5172
A-Z 的 Unicode 字符编码表 十进制　　　 十六进制 1.“A”的 Unicode 编码为： 2.“B”的 Unicode 编码为： 3.“C”的 Unicode 编码为： 4.“D”的 Unicode 编码为： 5.“E”的 Unicode 编码为： 6...
Unicode编码详解
花落归尘醉的专栏
04-23 1483
经常碰到乱码，为了弥补这一块的知识，在网上查阅了大量的资料，发现关于字符编码有很多概念，很多文章也是从不同角度来讲解，也能碰到相矛盾的文章，被绕了很久，最终才整理出我自己的理解，不一定完全准确，但是至少是自己经过思考和总结出来的，所以看文章只能是辅助自己思考的过程，要始终怀着怀疑和批判态度去思考。 什么是Unicode？ Unicode的学名是"Universal Multiple-O
最全解读Unicode字符编码
qq_245375716的博客
06-06 7818
Java 字符编码Unicode 字符编码 Unicode(http://www.unicode.org/versions/#TUS_Latest_Version) 是一个编码方案，说白了希望给世界上每一种文字系统的每一个字符，都分配一个唯一的整数，这样就不可能有任何冲突了。 一、字符编码规范 1.1 ASCII(American Standard Code for Information Interchange) 美国信息交换标准代码，这是计算机上最早使用的通用的编码方案。那个时候计算机还只是拉丁文字
Unicode编码的理解
sgmcy的专栏
12-21 1109
Unicode编码介绍
Unicode编码解码
最新发布
12-09 2150
Unicode字符分为两个范围：基本平面（BMP，0x0000 - 0xFFFF）和补充平面（SMP，0x10000 - 0x10FFFF）。Unicode字符集包含了世界上几乎所有的字符，包括中文字符、英文字符、数字、特殊符号等。了解其编码原理和实战应用，能够帮助我们更好地处理各种字符集问题，确保字符的正确显示和处理。UTF-8是一种可变长编码，每个字符占用1个、2个或3个字节。将字符串转换为Unicode编码，可以使用Python内置的ord()函数获取每个字符的编码值。二、Unicode编码原理。
Python2.7字符编码详解
blue_lll的博客
08-09 1363
Python2.7字符编码详解 目录 Python2.7字符编码详解 声明 一. 字符编码基础 1.1 抽象字符清单(ACR) 1.2 已编码字符集(CCS) 1.3 字符编码格式(CEF) 1.3.1 ASCII(初创) 1.3.2 MBCS/DBCS/ANSI(本地化) 1.3.3 Unicode(国际化) 1.4 字符编码方案(CES) 1.5 中文字符乱码(Mojibake) 1.5.1 ...
unicode-table-data-master.zip_bestou4_noeop_unicode_unicode tabl
09-21
Unicode编码表是Unicode字符集的核心，它将每个字符分配一个唯一的数字，称为码点（Code Point）。这个编码表按照一定的规则组织，分为多个平面（Plane），其中最基本的平面称为基本多文种平面（Basic Multilingual ...
关于Java的Character类详解
07-10
在Java中，char类型是一个16位的Unicode字符，它能表示超过65536种不同的字符，包括基本拉丁字母、希腊字母、希伯来字母、阿拉伯字母以及各种符号和特殊字符。Character类提供了处理这些字符的便捷工具。 1. **字符...
Unicode编码详解(一)：Unicode简介及其分类
黄邦勇帅的博客
12-31 11万+
Unicode编码详解(一)：Unicode简介及其分类 若觉得本文写得还可以，请多多关注本人所作书籍《C++语法详解》电子工业出版社出版，网盘地址： https://pan.baidu.com/s/1dIxLMN5b91zpJN2sZv1MNg 本文为原创文章，转载请注明出处，或注明转载自“黄邦勇帅(原名：黄勇) 一、基本知识 1、Unicode Unicode又称为统一码、万国码、单一码，是国际组织制定的旨在容纳全球所有字符的编码方案，包括字符集、编码方案等，它为每种语言中的每个字符设定了统一且唯一的二
彻底弄懂 Unicode 编码
热门推荐
hezh1994的博客
12-26 13万+
查看原文 今天，在学习 Node.js 中的 Buffer 对象时，注意到它的 alloc 和 from 方法会默认用 UTF-8 编码，在数组中每位对应 1 字节的十六进制数。想到了之间学习 ES6 时关于字符串的 Unicode 表示法，突然就很想知道 UTF-16 是如何进行编码的，我尝试将一些汉字转换成二进制数，然后简单的按 2 个字节一组转换成十六进制，发现对于那些码点较大的汉字，结果
Unicode字符编码的解释
cumao2792的博客
09-15 526
字符unicode编码 For a computer to be able to store text and numbers that humans can understand, there needs to be a code that transforms characters into numbers. The Unicode standard defines such a code b...
史上最好理解的Unicode编码讲解（Unicode的前世今生）
Zystem
07-30 5902
一、了解编码 在计算机中存储的数据都是01二进制的数据串，我们再电脑屏幕上看到的一切可视化的东西最终在计算机存储的都是01二进制串，现在看到我博客上的文字也是。 这里就需要一个映射关系，将我们看到的看到的字符、图片、视频转换成对应的二进制，存储到计算机中，以便于计算机能够识别。这就是我们要将的编码。 图片和视频首先会转换成字符流，然后按照编码转换成字节流，存储到计算机中。 举一个例子：在ASCL...
Unicode编码详解(二)：编码预备知识
黄邦勇帅的博客
12-31 1989
Unicode编码详解(二)：编码预备知识 若觉得本文写得还可以，请多多关注本人所作书籍《C++语法详解》电子工业出版社出版，网盘地址： https://pan.baidu.com/s/1dIxLMN5b91zpJN2sZv1MNg 本文为原创文章，转载请注明出处，或注明转载自“黄邦勇帅(原名：黄勇) 1.2 Unicode编码预备知识 一、计算机基础知识 编码牵涉到计算机硬件方面的内容，因此，有必要对计算机底层的知识作一讲解 1、字(Word)和字长： 字通常由若干字节组成，一个字的二进制位数就是字长。
Python解析“Unicode”编码格式文本
qinguo123的博客
12-24 8593
最近工作需要，需要解析一个win下工具生成的log文件，但是在解析过程中怎么也无法得到预期效果。在此做相关总结分享 测试环境windows10 python3.6.3 场景还原 新建文本文档，内容如下 abcdefg hijklmn opqrstu vwxyz然后点击 文件->另存为->编码->Unicode，如下图 尝试通过python/DOS进行读写操作pythontest.py:# -*-c
关于Unicode编码
Sober的博客
10-15 3913
文章目录缩写定义UnicodeUTF-8编码规则UTF-8 with BOM一些编辑器设置编码方式eclipsesublime text3 缩写定义 UTF–Unicode Transformation Format ，通用转换格式； 常见的UTF格式有：UTF-7, UTF-7.5, UTF-8,UTF-16, 以及 UTF-32。 BOM–Byte Order Mark，字节序标记； Un...
UTF8 - UNICODE编码解析（转载）
zcg396464628的专栏
09-07 901
作者： 阮一峰 日期： 2007年10月28日 今天中午，我突然想搞清楚Unicode和UTF-8之间的关系，于是就开始在网上查资料。 结果，这个问题比我想象的复杂，从午饭后一直看到晚上9点，才算初步搞清楚。 下面就是我的笔记，主要用来整理自己的思路。但是，我尽量试图写得通俗易懂，希望能对其他朋友有用。毕竟，字符编码是计算机技术的基石，想要熟练使用计算机，就必须懂得
Unicode编码详解：UTF-16与字符存储
每个字符都有一个唯一的Unicode码点，例如，字符"中"的UCS-2编码为0x4E2D，而在UTF-16中，无论是BE还是LE，编码形式会有所不同。UTF-16编码中，"中"在UTF-16 BE中是0x4E2D，而在UTF-16 LE中则是0x2D4E，这体现了字节...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值