ISO-8859-1 、 UTF-8 、 Unicode Code 转码对照表(一部分:规律/ 二部分:详解/ 三部分:表格)

最新推荐文章于 2022-08-09 08:49:26 发布
VIP文章 最新推荐文章于 2022-08-09 08:49:26 发布
阅读量1.2w 收藏 7
点赞数 5
分类专栏： 字符编码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lx_zheng/article/details/42239129
版权

第一部分之规律：

           1.0x00 ~ 0x7F (包含00与7F)三种编码没有区别.

           2.0x80 ~ 0xBF(包含80与BF)

             其中:ISO8859-1 = (Unicode char)Unicode = (unsigned char) (utf-8[1]) .

           3.0xC0 ~ 0xFF(包含C0与FF)

             其中:ISO8859-1 = (Unicode char)Unicode = (unsigned char) (utf-8[1] + 0x40) .

第二部分之详解：

因为:当十六进制在:000080 - 0007FF(utf-8的1920个代码)中,转换为utf-8的方式如下

代码范围
十六进制		 标量值（scalar value）
二进制		 UTF-8
二进制／十六进制		 注释
000000 - 00007F
128个代码		 00000000 00000000 0zzzzzzz 0zzzzzzz（00-7F） ASCII字符范围，字节由零开始
七个z 七个z
000080 - 0007FF
1920个代码		 00000000 00000yyy yyzzzzzz 110yyyyy（C0-DF) 10zzzzzz(80-BF） 第一个字节由110开始，接着的字节由10开始
三个y；二个y；六个z 五个y；六个z
000800 - 00D7FF
00E000 - 00FFFF
61440个代码 [Note 1]		 00000000 xxxxyyyy yyzzzzzz 1110xxxx(E0-EF) 10yyyyyy 10zzzzzz 第一个字节由1110开始，接着的字节由10开始
四个x；四个y；二个y；六个z 四个x；六个y；六个z
010000 - 10FFFF
1048576个代码		 000wwwxx xxxxyyyy yyzzzzzz 11110www(F0-F7) 10xxxxxx 10yyyyyy 10zzzzzz 将由11110开始，接着的字节由10开始
三个w；二个x；四个x；四个y；二个y；六个z 三个w；六个x；六个y；六个z

Note 1  Unicode在范围D800-DFFF中不存在任何字符， 基本多文种平面中约定了这个范围用于UTF-16扩展标识 辅助平面（两个UTF-16表示一个 辅助平面字符）。当然，任何编码都是可以被转换到这个范围，但在unicode中他们并不代表任何合法的值。

例如，希伯来语字母aleph（א）的Unicode代码是U+05D0，按照以下方法改成UTF-8:

  • 它属于U+0080到U+07FF区域，这个表说明它使用双字节，110yyyyy 10zzzzzz.
  • 十六进制的0x05D0换算成二进制就是101-1101-0000.
  • 这11位数按顺序放入"y"部分和"z"部分：11010111 10010000.
  • 最后结果就是双字节，用十六进制写起来就是0xD7 0x90，这就是这个字符aleph（א）的UTF-8编码。

所以开始的128个字符（US-ASCII）只需一字节，接下来的1920个字符需要双字节编码，包括带附加符号的拉丁字母，希腊字母，西里尔字母，科普特语字母，亚美尼亚语字母，希伯来文字母和阿拉伯字母的字符。基本多文种平面中其余的字符使用三个字节，剩余字符使用四个字节。

根据这种方式可以处理更大数量的字符。原来的规范允许长达6字节的序列，可以覆盖到31位（通用字符集原来的极限）。尽管如此，2003年11月UTF-8被RFC 3629重新规范，只能使用原来Unicode定义的区域，U+0000到U+10FFFF。根据这些规范，以下字节值将无法出现在合法UTF-8序列中：

编码（二进制） 编码（十六进制） 注释
1100000x C0, C1 过长编码：双字节序列的头字节，但码点<= 127
1111111x FE, FF 无法达到：7或8字节序列的头字节
111110xx
1111110x		 F8, F9, FA, FB, FC, FD 被RFC 3629规范：5或6字节序列的头字节
11110101
1111011x		 F5, F6, F7 被RFC 3629规范：码点超过10FFFF的头字节

第三部分之表格：

Charset ISO-8859-1
Extends ASCII?  
Supported by Sprachinspektor Language Detector?  
Supported by AutoUniConv Unicode Converter?  
ISO-8859-1 UTF-8 Unicode Character Name
0xFF 0xC3 0xBF 0x00FF ÿ LATIN SMALL LETTER Y WITH DIAERESIS
0xFE 0xC3 0xBE 0x00FE þ LATIN SMALL LETTER THORN (Icelandic)
0xFD 0xC3 0xBD 0x00FD ý LATIN SMALL LETTER Y WITH ACUTE
0xFC 0xC3 0xBC 0x00FC ü LATIN SMALL LETTER U WITH DIAERESIS
0xFB 0xC3 0xBB 0x00FB û LATIN SMALL LETTER U WITH CIRCUMFLEX
0xFA 0xC3 0xBA 0x00FA ú LATIN SMALL LETTER U WITH ACUTE
0xF9 0xC3 0xB9 0x00F9 ù LATIN SMALL LETTER U WITH GRAVE
0xF8 0xC3 0xB8 0x00F8 ø LATIN SMALL LETTER O WITH STROKE
0xF7 0xC3 0xB7 0x00F7 ÷ DIVISION SIGN
0xF6 0xC3 0xB6 0x00F6 ö LATIN SMALL LETTER O WITH DIAERESIS
0xF5 0xC3 0xB5 0x00F5 õ LATIN SMALL LETTER O WITH TILDE
0xF4 0xC3 0xB4 0x00F4 ô LATIN SMALL LETTER O WITH CIRCUMFLEX
0xF3 0xC3 0xB3 0x00F3 ó LATIN SMALL LETTER O WITH ACUTE
0xF2 0xC3 0xB2 0x00F2 ò LATIN SMALL LETTER O WITH GRAVE
0xF1 0xC3 0xB1 0x00F1 ñ LATIN SMALL LETTER N WITH TILDE
0xF0 0xC3 0xB0 0x00F0 ð LATIN SMALL LETTER ETH (Icelandic)
0xEF 0xC3 0xAF 0x00EF ï LATIN SMALL LETTER I WITH DIAERESIS
0xEE 0xC3 0xAE 0x00EE î LATIN SMALL LETTER I WITH CIRCUMFLEX
0xED 0xC3 0xAD 0x00ED í LATIN SMALL LETTER I WITH ACUTE
0xEC 0xC3 0xAC 0x00EC ì LATIN SMALL LETTER I WITH GRAVE
0xEB 0xC3 0xAB 0x00EB ë LATIN SMALL LETTER E WITH DIAERESIS
0xEA 0xC3 0xAA 0x00EA ê LATIN SMALL LETTER E WITH CIRCUMFLEX
0xE9 0xC3 0xA9 0x00E9 é LATIN SMALL LETTER E WITH ACUTE
0xE8 0xC3 0xA8 0x00E8 è LATIN SMALL LETTER E WITH GRAVE
0xE7 0xC3 0xA7 0x00E7 ç LATIN SMALL LETTER C WITH CEDILLA
0xE6 0xC3 0xA6 0x00E6 æ LATIN SMALL LETTER AE
0xE5 0xC3 0xA5 0x00E5 å LATIN SMALL LETTER A WITH RING ABOVE
0xE4 0xC3 0xA4 0x00E4 ä LATIN SMALL LETTER A WITH DIAERESIS
0xE3 0xC3 0xA3 0x00E3 ã LATIN SMALL LETTER A WITH TILDE
0xE2 0xC3 0xA2 0x00E2 â LATIN SMALL LETTER A WITH CIRCUMFLEX
0xE1 0xC3 0xA1 0x00E1 á LATIN SMALL LETTER A WITH ACUTE
0xE0 0xC3 0xA0 0x00E0 à LATIN SMALL LETTER A WITH GRAVE
0xDF 0xC3 0x9F 0x00DF ß LATIN SMALL LETTER SHARP S (German)
0xDE 0xC3 0x9E 0x00DE Þ LATIN CAPITAL LETTER THORN (Icelandic)
0xDD 0xC3 0x9D 0x00DD Ý LATIN CAPITAL LETTER Y WITH ACUTE
0xDC 0xC3 0x9C 0x00DC Ü LATIN CAPITAL LETTER U WITH DIAERESIS
0xDB 0xC3 0x9B 0x00DB Û LATIN CAPITAL LETTER U WITH CIRCUMFLEX
0xDA 0xC3 0x9A 0x00DA Ú LATIN CAPITAL LETTER U WITH ACUTE
0xD9 0xC3 0x99 0x00D9 Ù LATIN CAPITAL LETTER U WITH GRAVE
0xD8 0xC3 0x98 0x00D8 Ø LATIN CAPITAL LETTER O WITH STROKE
0xD7 0xC3 0x97 0x00D7 × MULTIPLICATION SIGN
0xD6 0xC3 0x96 0x00D6 Ö LATIN CAPITAL LETTER O WITH DIAERESIS
0xD5 0xC3 0x95 0x00D5 Õ LATIN CAPITAL LETTER O WITH TILDE
0xD4 0xC3 0x94 0x00D4 Ô LATIN CAPITAL LETTER O WITH CIRCUMFLEX
0xD3 0xC3 0x93 0x00D3 Ó LATIN CAPITAL LETTER O WITH ACUTE
0xD2 0xC3 0x92 0x00D2 Ò LATIN CAPITAL LETTER O WITH GRAVE
0xD1 0xC3 0x91 0x00D1 Ñ LATIN CAPITAL LETTER N WITH TILDE
0xD0 0xC3 0x90 0x00D0 Ð LATIN CAPITAL LETTER ETH (Icelandic)
0xCF 0xC3 0x8F 0x00CF Ï LATIN CAPITAL LETTER I WITH DIAERESIS
0xCE 0xC3 0x8E 0x00CE Î LATIN CAPITAL LETTER I WITH CIRCUMFLEX
0xCD 0xC3 0x8D 0x00CD Í LATIN CAPITAL LETTER I WITH ACUTE
0xCC 0xC3 0x8C 0x00CC Ì LATIN CAPITAL LETTER I WITH GRAVE
0xCB 0xC3 0x8B 0x00CB Ë LATIN CAPITAL LETTER E WITH DIAERESIS
0xCA 0xC3 0x8A 0x00CA Ê LATIN CAPITAL LETTER E WITH CIRCUMFLEX
0xC9 0xC3 0x89 0x00C9 É LATIN CAPITAL LETTER E WITH ACUTE
0xC8 0xC3 0x88 0x00C8 È LATIN CAPITAL LETTER E WITH GRAVE
0xC7 0xC3 0x87 0x00C7 Ç LATIN CAPITAL LETTER C WITH CEDILLA
0xC6 0xC3 0x86 0x00C6 Æ LATIN CAPITAL LETTER AE
0xC5 0xC3 0x85 0x00C5 Å LATIN CAPITAL LETTER A WITH RING ABOVE
0xC4 0xC3 0x84 0x00C4 Ä LATIN CAPITAL LETTER A WITH DIAERESIS
0xC3 0xC3 0x83 0x00C3 Ã LATIN CAPITAL LETTER A WITH TILDE
0xC2 0xC3 0x82 0x00C2 Â LATIN CAPITAL LETTER A WITH CIRCUMFLEX
0xC1 0xC3 0x81 0x00C1 Á LATIN CAPITAL LETTER A WITH ACUTE
0xC0 0xC3 0x80 0x00C0 À LATIN CAPITAL LETTER A WITH GRAVE
0xBF 0xC2 0xBF 0x00BF ¿ INVERTED QUESTION MARK
0xBE 0xC2 0xBE 0x00BE ¾ VULGAR FRACTION THREE QUARTERS
0xBD 0xC2 0xBD 0x00BD ½ VULGAR FRACTION ONE HALF
0xBC 0xC2 0xBC 0x00BC ¼ VULGAR FRACTION ONE QUARTER
0xBB 0xC2 0xBB 0x00BB » RIGHT-POINTING DOUBLE ANGLE QUOTATION MARK
0xBA 0xC2 0xBA 0x00BA º MASCULINE ORDINAL INDICATOR
0xB9 0xC2 0xB9 0x00B9 ¹ SUPERSCRIPT ONE
0xB8 0xC2 0xB8 0x00B8 ¸ CEDILLA
0xB7 0xC2 0xB7 0x00B7
最低0.47元/天 解锁文章
_糖小姐_
关注
  • 5
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
TCC89xx 91xx 92xx Windows CE BSP Documents v1.7
07-06
非常详尽的telechips tcc89xx 91xx 92xx芯片wince开发文档
关于JAVA字符编码：Unicode,ISO-8859-1,GBK,UTF-8编码及相互转换
hupengfei_shenyang的博客
11-26 3万+
转载：https://www.cnblogs.com/haimishasha/p/6117968.html 目录 1.1. ISO-8859-1 通常叫做Latin-11.2. GB2312/GBK 1.3 unicode 1.4 UTF 2.1 Unicode与各编码之间的直接转换2.2 Unicode与各编码之间的交叉转换2.3 编码过程中错误诊断参考3.1 getBytes(charse...
将iso-8859-1编码的字符串转换成utf-8
Pumpkin's Blog
07-30 1万+
将iso-8859-1编码的字符串转换成utf-8 很简单只需要如下操作即可 String string= new String(string.getBytes("iso-8859-1"),"utf-8");
ISO-8859-1,UTF-8 中文编码避免乱码
msgsun的博客
11-06 7069
new String(getBytes(ISO-8859-1),UTF-8)中文编码避免乱码 NewString(getBytes(ISO-8859-1)) byte[] b_gbk = "深".getBytes("GBK"); byte[] b_utf8 = "深".getBytes("UTF-8"); byte[] b_iso88591 = "深".getBytes("ISO8859-1"); byte[] b_unicode = "深".getB
多次或者误用，ISO-8859-1 转换为 UTF-8 自动纠错
bwcx_jzy 的博客
08-22 8626
java 中客户端传来的参数很多都是ISO-8859-1 的编码，我们如果要使用需要将其转换为UTF-8 的编码。 方式如下： new String(source.getBytes(&amp;amp;quot;ISO-8859-1&amp;amp;quot;), &amp;amp;quot;UTF-8&amp;amp;quot;) 这样就转换为UTF-8 的编码了。 在实际使用中，有些框架会根据客户端指定编码格式来自动转换，如果我们再次调用转换那么得到的将是乱码
文件编码ISO-8859 转 UTF-8
fly7765的博客
08-09 2340
iconv -f GB2312 -t UTF-8 要修改格式的文件名 -o 修改后文件名。
Bluetooth
xuanze0的博客
03-04 8258
Bluetooth 本文翻译自Kolban’s book on ESP32 ESP32具有原生蓝牙支持（版本4.2）。 这意味着它可以与蓝牙设备（如键盘，鼠标和手机）进行交互。 让我们回顾一下蓝牙对我们意味着什么。 蓝牙是通过无线电信号提供数据传输的无线通信协议/技术。 让我们假设ESP32是连接的一端，任何其他蓝牙设备可以在另一端。 出于安全目的，任何蓝牙设备不能简单地“使用”没有一些明确的...
坏掉的机器人
zhendong
01-24 1万+
算法分析： 有后效性dp。dp方程很好推，但是状态之间有后效性，需要用高斯消元同时求出各个状态。裸的高斯消元时间复杂度为O(m2)O(m^2)O(m2)，超时。仔细观察，每行数据只有2到3个非0，因此不需要套模板，直接消掉就可以。 原先的矩阵类似如下，x是占位符，非0。z是常数。 [xx00000zxxx0000z0xxx000z00xxx00z000xxx0z0000xxxz00000xxz] \begin{bmatrix} x & x & 0 & 0 & 0 &
Unicode字符集和多字节字符集关系（一）
Road2010的专栏
03-02 4949
另外可参考： 谈谈Unicode编码，简要解释UCS、UTF、BMP、BOM等名词 http://blog.csdn.net/smonster/archive/2008/10/31/3194587.aspx   unicode、ucs-2、ucs-4、utf-16、utf-32、utf-8 http://stallman.blogbus.com/logs/41709878.html U
Alpha Numeric Number Range (0000 to ZZZZ)
kevinhuo88888的博客
12-15 1070
Alpha Numeric Number Range (0000 to ZZZZ)Skip to end of metadata Created by Abhishek Jolly, last modified by Former Member on Aug 02, 2013 Go to start of metadata Author: Abhishek JollySubmi...
php utf-8转unicode的函数第1/2页
10-30
php下我们想把uft-8，转成unicode可以用下面的函数来实现
utf8-parser:一种了解 UTF-8 和解析器组合器的有趣方式
06-30
使用解析器组合器解码 UTF-8：官方策略指南 这是与相关的代码。 请注意，此代码在一些地方与我在帖子中介绍的代码略有不同。 由于这篇文章是为不太熟悉 Haskell 的读者准备的，因此它有一些功能比他们需要的更冗长。 比较两者以了解它们的不同之处可能会很有趣。 或不。 哈斯克尔 我对 Haskell 不是很熟悉。 我已经玩了一段时间了，我写了一些琐碎的东西。 但是还是有很多不明白的地方。 所以不要把这个存储库中的代码当作“正确的做法”。 这是初学者编写的代码。 一年后，我相信我会回顾它并畏缩。 如果您碰巧对 Haskell 有所了解，并想就我可以做得更好的事情给我一些建议，请做！ 你是怎么设置的 由于我在启动和运行 Haskell 时遇到了一些麻烦，而且希望阅读博客文章的人不是所有的 Haskell 向导，我认为记录我如何设置这一切会很有用。 安装 Haskell 我从安装了 H
tiny-utf8:支持Unicode（UTF-8）的标准
04-29
微小的 4.3 描述 Tiny-utf8是一个库，用于将Unicode非常轻松地集成到任意C ++ 11项目中。 该库仅由类utf8_string组成，该类utf8_string替代std::string 。 它的实现成功地介于小内存占用和快速访问之间。 因此， std::string所有功能都被相应的基于代码点的UTF-32版本所取代-转换了对引擎盖下UTF-8的每次访问。 版本4.3和4.2之间的更改 类tiny_utf8::basic_utf8_string已重命名为basic_string ，它更类似于std::string 。 版本4.1和4.0之间的更改 为了模仿许多其他基于C ++的开源项目的结构， tinyutf8.h已移至include/tinyutf8/文件夹。 版本4.0和3.2.4之间的更改 类utf8_string现在被内部定义namespace tiny_utf
utf8test:以 UTF-8 编码打印所有 unicode 字符的控制台（终端）应用程序
06-18
utf8test 以 UTF-8 编码打印所有 unicode 字符的控制台（终端）应用程序。 测试字体的完整性和查找一些 unicode 字符很有用。句法 utf8test [ options ]Options:-s code first character to output (hex, accepts ...
cbmtext:使用兼容Commodore MPS 803的老式打印机从现代PC打印Unicode文本文件（UTF-8编码）
05-13
使用兼容Commodore MPS 803的老式打印机从现代PC打印Unicode UTF-8编码的文本文件。 目的 该实用程序输出原始字节，以在兼容打印机上打印Unicode文本（UTF-8编码）。 它应与软件包一起使用，以将输出重定向到通过...
iso-8859-1转utf-8编码
xiaobao5214的博客
11-13 1万+
try { if (StringUtils.isNotBlank(reason) && reason.equals(new String(reason.getBytes("ISO8859-1"), "ISO8859-1"))) { reason = new String(reason.getBytes("ISO8859-1"), "UTF-8
python 中文iso8859-1编码转utf8编码
weixin_44100581的博客
03-28 4064
python 中文iso8859-1编码转utf8编码 在项目中使用wget 进行ftp下载文件时，由于ftp下载默认的是ascii模式，下载的文件编码是iso8859-1。 在python3中直接使用open函数的话，需要设置编码，不然会报错。 open("08M0063639_20170710.txt","r",encoding='iso8859-1') 这样做，假如文本是数字或者字母的时候，没有什么影响。但文本是中文的时候，获取的数据是iso8859-1编码的，进行数据操作时会出现乱码。 所以要将
zzzxxzxzxzx
热门推荐
he6082496的博客
09-11 4万+
import java.util.Scanner; public class Main { static int[] palyer = new int[2]; static summon[][] fild = new summon[2][7 + 1]; static int[] num = new int[2]; public static void main(Strin
jdbc:mysql://localhost:3306/db_student_ssm?useUnicode=true&characterEncoding=utf-8
最新发布
05-24
这是一个 JDBC 连接 MySQL 数据库的 URL，其中： - `localhost` 表示连接本地的 MySQL 数据库。 - `3306` 是 MySQL 数据库的默认端口号。 - `db_student_ssm` 是要连接的数据库名。 - `useUnicode=true` 表示使用 Unicode 编码。 - `characterEncoding=utf-8` 表示使用 UTF-8 字符编码。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值