逆向之宽字节和字节存储顺序（详细版！）

一：Unicode（宽字节）

Unicode是ASCII 字符编码的一个扩展，只不过在 Windows中用2字节对其进行编码，因此也被称为宽字符集(Widechars)。Unicode 是一种双字节编码机制的字符集，使用0~65535 的双字节无符号整数对每个字符进行编码。在 Unicode 中所有字都是16位的，其中所有的7位ASCII码都被扩充为16位(注意:高位扩充的是零)。例如字符串“pediy”的ASCII码是:

Intel处理器在内存中将一个字存人存储器要占用相继的2字节，这个字在存放时按 Litte-endian方式存人，即低位字节存人低地址，高位字节存人高地址，如下图所示：

接下来我们具体讲一下Unicode：

Unicode是一种字符编码标准，它为全球范围内的所有字符定义了一个唯一的数字编码。它的目标是为世界上所有的字符提供一个统一的编码方案，以解决不同字符集之间的兼容性和字符表示的统一性问题。
Unicode使用16位或32位的编码单元来表示字符，每个字符都被赋予一个唯一的编码值，称为码点（code point）。常见的Unicode字符编码方式有UTF-8、UTF-16和UTF-32。
UTF-8是一种可变长度的编码方式，使用1到4个字节来表示不同的字符，其中ASCII字符使用1个字节表示，其他字符根据需要使用2到4个字节表示。
其中UTF-16是一种固定长度的编码方式，使用2个字节或4个字节来表示字符。基本多文种平面（BMP）中的字符使用2个字节表示，而其他的字符（如表情符号）使用4个字节表示。
而UTF-32是一种固定长度的编码方式，每个字符都使用4个字节表示，无论字符是ASCII字符还是非ASCII字符。
Unicode的优点是它能够包含世界上几乎所有的字符，不再受限于特定的字符集。它为全球化的软件和互联网提供了一种标准的字符表示方式，使得不同语言和文化之间的文本交流更加方便和准确。
然而，Unicode的缺点之一是字符编码的长度不同，可能会导致在存储和传输时占用更多的空间。此外，对于某些特殊的字符处理和排序操作，Unicode仍然存在一些复杂性。

宽字节具体解释：

宽字节（Wide characters）是一种用于表示Unicode字符的编码形式。它使用多个字节来表示一个字符，通常是16位或32位。宽字节编码的目的是为了适应Unicode字符集中的大量字符，包括非拉丁字母、表情符号、特殊符号等。

在C/C++编程中，宽字节通常以wchar_t类型表示，它是一个能够存储一个宽字符的整数类型。宽字符的编码方式可以是不同的实现，如UTF-16或UTF-32。具体的编码方式取决于操作系统和编译器的实现。

宽字符编码提供了一种在程序中处理Unicode字符的方法。它允许使用单个字符来表示一个Unicode字符，而不需要使用多个字节的字节序列。这在处理多语言文本、国际化和本地化应用程序时非常有用。

#include <stdio.h>
#include <wchar.h>

int main() {
  wchar_t myWideChar = L'猫';
  wprintf(L"宽字符: %lc\n", myWideChar);
  
  return 0;
}

在这个示例中，使用wchar_t类型存储一个宽字符'猫'。在输出时，使用wprintf函数和%lc格式化字符来打印宽字符。

需要注意的是，使用宽字符编程需要使用对应的宽字符函数和格式化字符串，如wprintf、fwprintf、wscanf等。此外，宽字符编码在不同平台和环境中的实现可能会有差异，需要根据具体的编译环境和操作系统进行适配。

总结起来，宽字节是一种用于表示Unicode字符的编码形式，它使用多个字节来表示一个字符，通常以wchar_t类型表示。宽字符编码提供了一种处理Unicode字符的方法，适用于多语言文本和国际化应用程序。

二：字节存储顺序

“endian”一词来源于《格列佛游记》。在小说中，小人国的居民为吃鸡蛋时该从大的一端( Big-End)剥开还是从小的一端(Litle-End)剥开而争论，争论的双方分别称为“Big-endian”和“Little-endian”。计算机领域在描述“关于字节该以什么样的顺序传送的争论”时引用了“endian”词，翻译为“字节序”，表示数据在存储器中的存放顺序，主要分为大端序(Big-endian)和小端
序(Little-endian )，其区别如下。Big-endian:高位字节存人低地址，低位字节存入高地址。Little-endian:低位字节存入低地址，高位字节存人高地址。例如将12345678h写人以 1000h 开始的内存中，以Big-endian和 Little-endian 模式存放，结果如表 1.2 所示（出自于加密与解密）

一般来说，x86系列CPU都是 Little-endian（小端） 字节序，PowerPC 通常是 Big-endian （大端）字节序。因为网络协议也都是采用 Big-endian 方式传输数据的，所以有时也把 Big-endian 方式称为网络字节序。

下面是对俩者的具体解释：

小端（Little Endian）和大端（Big Endian）是两种不同的字节序（Byte Order）排列方式，用于表示多字节数据在内存中的存储顺序。
在计算机系统中，多字节数据（如整数、浮点数等）通常由多个字节组成。字节序指的是这些字节在内存中的存储顺序。
- 小端序（Little Endian）：数据的低位字节存储在内存的低地址处，高位字节存储在内存的高地址处。也就是说，数据的最低有效字节（LSB）放在了最前面。
- 大端序（Big Endian）：数据的高位字节存储在内存的低地址处，低位字节存储在内存的高地址处。也就是说，数据的最高有效字节（MSB）放在了最前面。
举个例子来说明：
假设我们有一个16位整数0x1234（十六进制表示），它由两个字节组成。
- 在小端序中，低字节为0x34，高字节为0x12。存储顺序为：0x34 0x12。
- 在大端序中，高字节为0x12，低字节为0x34。存储顺序为：0x12 0x34。
不同的处理器架构和操作系统可能采用不同的字节序。x86架构的处理器通常采用小端序，而一些网络协议（如TCP/IP）则要求使用大端序。
对于大多数应用程序开发者而言，字节序的处理是由编程语言和相关库自动处理的。开发者只需要了解字节序的概念，在涉及到底层数据存储和网络通信时，确保正确的字节序转换即可。
总结起来，小端和大端是两种不同的字节序排列方式，用于表示多字节数据在内存中的存储顺序。小端序将低位字节存储在低地址处，大端序将高位字节存储在低地址处。了解字节序的概念对于底层数据处理和网络通信非常重要。