数据存储方式、传输方式、字节序问题总结

数据存储方式、传输方式、字节序问题很基础，但也很重要，下面简单总结一下：

1. 数据存储方式（主要以数值和字符类型的数据为例说明）
      1）数据（包括数值和字符）在计算机内存中都是以二进制的形式存放
      数值 --- 补码

      字符 --- 对应的ASCII码

常用数据类型及占用字节

数据类型	占用字节	数据类型	占用字节
bool	1	unsigned int	4
char	1	long	4
short	2	unsigned long	4
short int	2	float	4
unsigned short	2	double	8
int	4	void*	4
long int	4	enum	4

       
     通过下面的举例，深入理解数值和字符在内存中的存储方式。
       定义变量：

         char szDig[4] = {0x11, 0x00, 0x11, 0x11};

         char szTmp[10] = {0x22, 0x00, 0x22, 0x22};

       【实验一】对szDig分别取strlen和sizeof操作，结果如下：
           strlen(szDig) = 2 （字符串结束符'/0'的ASCII码为0）

           sizeof(szDig) = 4

      【实验二】对szDig和szTmp进行strcat操作

           strcat(szTmp, szDig);

           结果szTmp数组中各项值为 （十六进制）：11 22 00 00 00 00 ... ...  

       结论：对于非字符串，即便是char类型数组，也慎用strlen、strcat等字符串操作函数。
                   而如下的定义方式可以通过strlen取长度：
                   char szDig[] = "0000";
      
   2）整型数据在计算机内存中都是以补码的方式存放
      正数的补码是其本身
      负数的补码是其原码（除符号位外）各位取反，然后加1得到
      机器数有三种编码方式：原码、反码和补码。
      原码 --- 有效数值部分照抄，符号位正负（或者+-）分别用0 1表示。
      反码 --- 可由原码得到。
               正数的反码与原码一样；
               负数的反码是其原码（除符号位外）各位取反而得到。
      补码 --- 可由原码得到。
               正数的补码与原码一样；
               负数的补码是其原码（除符号位外）各位取反，并加1而得到。
               
      如，定义整型变量 a 和 b：
      char a, b;
      a = 1;
      b = -5;
      
      则，a（1）在内存中为 00000001
          b（-5）在内存中为 11111011
          即，-5 原码：10000101  反码：11111010  补码：11111011
               
   3）字符型数据在计算机内存中以其对应的ASCII码方式存放
      如，定义字符变量 cha 和 chb：
      char cha, chb;
      cha = 'x';
      chb = '1';
      
      则，cha（'x'）在内存中为 120，转换成二进制为 1111000
             chb（'1'）在内存中为 49，转换成二进制为 0110001

2.数据传输
   数据（包括数值和字符）在网络中也都是以二进制 0/1 方式传输，通信双方需提前约定好传输的为字符串还是数值，
   或者哪一部分是字符串，哪一部分是数值，以便接收方能够采用对应的方式读取准确的数据。
  
   借用网上的一个例子来说明数据的发送，如下：
   int i=999;
   char szBuf[1024] = {0};
   char *szTmp = "this is a character";
  
   memcpy(szBuf, &i, sizeof(int));
   memcpy(szBuf + sizeof(int), szTmp, strlen(szTmp));
  
   send(socket, szBuf, sizeof(int) + strlen(szInput), 0);
  
   无论是数值还是字符型的数据，都可以通过内存直接拷贝至待发送的buf。
   （需要注意的就是，不要对非字符串char数组采用strlen获取长度。）
   另外，需要考虑的就是下面要提到的字节序的问题。
  
3. 字节序
     掌握字节序之前，需要了解两个概念：网络字节序和主机字节序
     是否需要考虑字节序转换的两个条件：
     a）对于本地是小端序存储的设备来说，在准备进行网络数据传输时，需要考虑进行字节转换。
     b）如果要发送的数据在本地定义的数据类型（包括一些数据结构的成员）超过2字节，就发送时，就需要考虑字节序转换问题。
        比如，short、long类型的数据
        在发送时，需要分别使用 htons 和 htonl 进行字节序转换；
        在接收时，需要分别使用 ntohs 和 ntohl 进行字节序转换。
   
    下面借用网上一篇帖子来解释一下字主机序和网络序（http://www.cnblogs.com/jacktu/archive/2008/11/24/1339789.html）
   1）主机字节序
      不同的CPU有不同的字节序类型 这些字节序是指整数在内存中保存的顺序 这个叫做主机序 
      最常见的有两种
      ① Little endian：将低序字节存储在起始地址
      ② Big endian：将高序字节存储在起始地址
      
      LE little-endian （小端序）
      最符合人的思维的字节序 
      地址低位存储值的低位 
      地址高位存储值的高位 
      怎么讲是最符合人的思维的字节序，是因为从人的第一观感来说低位值小，就应该放在内存地址小的地方，
      也即内存地址低位。反之，高位值就应该放在内存地址大的地方，也即内存地址高位。
      
      BE big-endian （大端序）
      最直观的字节序 
      地址低位存储值的高位 
      地址高位存储值的低位 
      为什么说直观，不要考虑对应关系，只需要把内存地址从左到右按照由低到高的顺序写出，
      把值按照通常的高位到低位的顺序写出，两者对照，一个字节一个字节的填充进去。
      
      例子：在内存中双字0x01020304(DWORD)的存储方式 
                 内存地址 4000 4001 4002 4003 
                 LE 04 03 02 01 
                 BE 01 02 03 04 
      
      例子：如果我们将0x1234abcd写入到以0x0000开始的内存中，则结果为
                              big-endian  little-endian
                  0x0000     0x12        0xcd
                  0x0001     0x34        0xab
                  0x0002     0xab        0x34
                  0x0003     0xcd        0x12
                  x86系列CPU都是little-endian的字节序. 
   
   2）网络字节序
       网络字节顺序，是TCP/IP中规定好的一种数据表示格式，它与具体的CPU类型、操作系统等无关，
       从而可以保证数据在不同主机之间传输时能够被正确解释。网络字节顺序采用big endian排序方式。
      
       socket编程时，尤其需要注意网络字节序的问题，有下面四个字节序转换函数：
        htons  将unsigned short类型从主机序转换到网络序
        htonl  将unsigned long类型从主机序转换到网络序
        ntohs  将unsigned short类型从网络序转换到主机序
        ntohl  将unsigned long类型从网络序转换到主机序
      
      在使用little endian的系统中 这些函数会把字节序进行转换；
      在使用big endian类型的系统中 这些函数会定义成空宏。
      
      同样，在网络程序开发时，或是跨平台开发时，也应该注意保证只用一种字节序，不然两方的解释不一样就会产生bug。
      
      注：
      ① 网络与主机字节转换函数:htons ntohs htonl ntohl (s 就是short l是long h是host n是network)
      ② 不同的CPU上运行不同的操作系统，字节序也是不同的，参见下表。
         处理器                操作系统    字节排序
         Alpha                  全部           Little endian
         HP-PA                 NT             Little endian
         HP-PA                UNIX          Big endian
         Intelx86               全部          Little endian <--- x86系统是小端字节序系统
         Motorola680x    全部          Big endian
         MIPS                    NT            Little endian
         MIPS                    UNIX        Big endian
         PowerPC            NT            Little endian
         PowerPC           非NT         Big endian  <--- PPC系统是大端字节序系统
         RS/6000           UNIX          Big endian
         SPARC              UNIX         Big endian

         IXP1200 ARM   全部          Little endian