ctf中文转unicode_浅谈Unicode设计的安全性

1. 简介

1.1 编码

在1963年，计算机使用尚不广泛，主要使用7-bit的ASCII编码(American Standard Code for Information Interchange，美国信息互换标准代码)来作为字符的编码，只支持常用的少数一些字符。但是随着计算机的不断普及，各个国家和地区开始制造自己的编码规范，同时互相不进行兼容，编码逐渐成为了一个问题。

1.2 Unicode

而后ISO(International Organization for Standardization, 国际标准化组织) 开始尝试制定包含大部分字母和符号的编码，称为"Universal Multiple-Octet Coded Character Set"，简称UCS, 俗称Unicode。

Unicode实际上是一个字符和数字之间的映射关系表，并不制定实际的编码方案。因此又开始制定UTF(Unicode Transformation Formats)标准，包括UTF-8、UTF-16和UTF-32等。可以理解为Unicode是一个设计图，而UTF-X是其中一种实现。

1.3 Code Point 与 Code Unit

Code Point指Unicode标准里字符的编号，比如用目前Unicode使用了0 ~ 0x10FFFF的编码范围，通常用U+xxxx来表示某个字符。

Code Unit指某种Unicode编码方式里编码一个Code Point需要的最少字节数，比如UTF-8需要最少一个字节，UTF-16 最少两个字节，UCS-2两个字节，UCS-4和UTF-32四个字节，后面三个是定长编码。

2. 视觉欺骗

视觉欺骗问题是最常见的也