初探Erlang的term_to_binary数据封包机制

1、引言

读本文之前，建议先读本博客《Erlang数据类型的内部实现》一文。

erlang:term_to_binary/1,2函数返回值是Erlang扩展term格式(Erlang external term format)的binary，即ext_binary()，
这个函数能把Erlang数据封装成二进制流，是一种存储和传输Erlang数据的有效途径，
甚至可以用这种封包/解包方式用作Socket的通信协议(某页游项目就是这么干的)。

读懂Erlang扩展term格式的二进制数据，你就可以用任意语言解包Erlang数据。

直接分析二进制流，语言之间沟通无限。

2、初识Erlang的ext_binary

2.1、从简单实例说起...

Eshell V5.10.1  (abort with ^G)
1> term_to_binary({}).
<<131,104,0>>
2> term_to_binary({1}).
<<131,104,1,97,1>>
3> term_to_binary({1,2}).
<<131,104,2,97,1,97,2>>
4> term_to_binary([]).
<<131,106>>
5> term_to_binary([1]).
<<131,107,0,1,1>>
6> term_to_binary([1,2]).
<<131,107,0,2,1,2>>

2.2、从简单实例思考...

    (1) 为什么第1字节都是131？
    (2) 为什么tuple的第2字节都是104？
    (3) 为什么空list第2字节是106？
    (4) 为什么非空list第2字节都是107？
    (5) ...

2.3、在C源码中找答案...

源码太多，我就不贴了，主要是这两个文件：
$ERL_TOP/erts/emulator/beam/external.h
$ERL_TOP/erts/emulator/beam/external.c

从函数erts_term_to_binary(Process* p, Eterm Term, int level, Uint flags)中可以看到，
首先是在第一字节压入一个版本号：

#define VERSION_MAGIC 131   /* 130 in erlang 4.2 */
　　　　　　　　　　　　　　/* Increment this when changing the external format. */
　　　　　　　　　　　　　　/* ON the other hand, don't change the external format */
　　　　　　　　　　　　　　/* since that breaks other people's code! */


/*
 * Get a pointer to the binary bytes, for a heap or refc binary
 * (NOT sub binary).
 */
#define binary_bytes(Bin)						\
    (*binary_val(Bin) == HEADER_PROC_BIN ?				\
     ((ProcBin *) binary_val(Bin))->bytes :				\
     (ASSERT_EXPR(thing_subtag(*binary_val(Bin)) == HEAP_BINARY_SUBTAG),	\
      (byte *)(&(((ErlHeapBin *) binary_val(Bin))->data))))

bin = new_binary(p, (byte *)NULL, size);
bytes = binary_bytes(bin);
bytes[0] = VERSION_MAGIC;

然后进入函数enc_term，来看一下enc_term中的重要片断： 

switch(tag_val_def(obj)) {
    case NIL_DEF:
        // 如果是空列表,则压入NIL_EXT标识
        *ep++ = NIL_EXT;
        break;
    // ......
	case LIST_DEF:
	    {
		int is_str;


		i = is_external_string(obj, &is_str);
		if (is_str) {
            // 如果是字符list,则压入STRING_EXT标识
		    *ep++ = STRING_EXT;
		    put_int16(i, ep);
		    ep += 2;
		    while (is_list(obj)) {
			Eterm* cons = list_val(obj);
			*ep++ = unsigned_val(CAR(cons));
			obj = CDR(cons);
		    }
		} else {
            // 如果是list,则压入LIST_EXT标识
		    *ep++ = LIST_EXT;
		    put_int32(i, ep);
		    ep += 4;
		    goto encode_one_cons;
		}
	    }
	    break;


	case TUPLE_DEF:
	    ptr = tuple_val(obj);
	    i = arityval(*ptr);
	    ptr++;
	    if (i <= 0xff) {
        // 如果是小tuple,则压入SMALL_TUPLE_EXT标识
		*ep++ = SMALL_TUPLE_EXT;
		put_int8(i, ep);
		ep += 1;
	    } else  {
		*ep++ = LARGE_TUPLE_EXT;
		put_int32(i, ep);
		ep += 4;
	    }
	    if (i > 0) {
		WSTACK_PUSH(s, ENC_LAST_ARRAY_ELEMENT+i-1);
		WSTACK_PUSH(s, (UWord) ptr);
	    }
	    break;
    // ......
}

从这里可以了解到，ext_binary数据封包其实就是不同的数据类型前面给予不同的标识，

这些标识究竟是怎么定义的？请结合Erlang内部数据结构，往下看...

2.4、从简单实例答疑...

要读懂ext_binary数据流，下面这些定义是关键：

/* Same order as the ordering of terms in erlang */
/* Since there are 255 different External tag values to choose from
   There is no reason to not be extravagant.
   Hence, the different tags for large/small tuple e.t.c
*/
#ifdef ERTS_WANT_EXTERNAL_TAGS
#ifndef ERTS_EXTERNAL_TAGS
#define ERTS_EXTERNAL_TAGS


#define SMALL_INTEGER_EXT 'a'
#define INTEGER_EXT       'b'
#define FLOAT_EXT         'c'
#define ATOM_EXT          'd'
#define SMALL_ATOM_EXT    's'
#define REFERENCE_EXT     'e'
#define NEW_REFERENCE_EXT 'r'
#define PORT_EXT          'f'
#define NEW_FLOAT_EXT     'F'
#define PID_EXT           'g'
#define SMALL_TUPLE_EXT   'h'
#define LARGE_TUPLE_EXT   'i'
#define NIL_EXT           'j'
#define STRING_EXT        'k'
#define LIST_EXT          'l'
#define BINARY_EXT        'm'
#define BIT_BINARY_EXT    'M'
#define SMALL_BIG_EXT     'n'
#define LARGE_BIG_EXT     'o'
#define NEW_FUN_EXT       'p'
#define EXPORT_EXT        'q'
#define FUN_EXT           'u'
#define ATOM_UTF8_EXT     'v'
#define SMALL_ATOM_UTF8_EXT 'w'


#define DIST_HEADER       'D'
#define ATOM_CACHE_REF    'R'
#define ATOM_INTERNAL_REF2 'I'
#define ATOM_INTERNAL_REF3 'K'
#define BINARY_INTERNAL_REF 'J'
#define BIT_BINARY_INTERNAL_REF 'L'
#define COMPRESSED        'P'

我们先把问题中的几个ASCII码转换成对应字符:

Eshell V5.10.1  (abort with ^G)
1> [104,106,107].
"hjk"

根据这些字符，可以从在上面找到相应的宏，现在可解答上面的问题了：

    (1) 为什么第1字节都是131？
    　　 答：它是一个版本号。
    (2) 为什么tuple的第2字节都是104？
    　　 答：它是一个SMALL_TUPLE_EXT标识。
    (3) 为什么空list第2字节是106？
    　　 答：它是一个NIL_EXT标识，表示一个空list。
    (4) 为什么非空list第2字节都是107？
    　　 答：它是一个STRING_EXT标识，表示一个字符串，在Erlang中字符串其实就是list，但list不一定是字符串。
    (5) ...

3、小结

研究Erlang的ext_binary，可以从term_to_binary和binary_to_term这两个函数的内部实现入手，一层层深入，本文只是抛砖引玉，有兴趣的同学可以继续深入研究，有成果别忘了通知一声，分享分享，共同进步！

关于External Term Format，更多内容可参阅官方文档：http://www.erlang.org/doc/apps/erts/erl_ext_dist.html

PS：感谢@蓝色心情 告知关于External Term Format的官方文档链接。