Avro Schemas

转载请写明来源地址：[url]http://blog.csdn.net/lastsweetop/article/details/9664233[/url]
所有源码在github上[url]https://github.com/lastsweetop/styhadoop[/url]
Schema 定义
Schema是JSON格式的，包括下面三种形式：
1.JSON string类型,主要是原生类型
2.JSON 数组，主要是union
3.JSON 对象，格式：

{"type": "typeName" ...attributes...}

包括除原生类型和union以外的其他类型，attributes可以包括avro未定义的属性，这些属性并不会影响数据的序列化。
原生类型
总共8种原生类型 null,boolean,int,long,float,double,bytes,strings.
1.原生类型不需要attributes
2.可以通过type指定 “string” 和 ｛"type":"string"｝是等同的
3.不同语言的实现是不同的，比如double类型，在C,C++和java里就是double,而在Python里是float，在Ruby里是Float.
复合类型
总共6种复合类型 records,enums,arrays,maps,unions,fixed
records
records一般是序列化数据的最终展现单元，而且可以自己嵌套

{  
  "type": "record",   
  "name": "LongList",  
  "aliases": ["LinkedLongs"],                        
  "fields" : [  
    {"name": "value", "type": "long"},               
    {"name": "next", "type": ["LongList", "null"]}   
  ]  
}

enums
枚举，这个很好理解

{ "type": "enum",  
  "name": "Suit",  
  "symbols" : ["SPADES", "HEARTS", "DIAMONDS", "CLUBS"]  
}

arrays
数组，一样很好理解

{"type": "array", "items": "string"} 

maps
map，keys必须是string，所以这里只指定了values的类型
[java] view plaincopy
{"type": "map", "values": "long"}
unions
不能包含两个或者两个以上没有name属性的相同类型

["string", "null"]  

fixed
size指定每个值占用多少个字节

{"type": "fixed", "size": 16, "name": "md5"}  

三种mapping
generic mapping
针对一种语言来说可能有不同的mapping，但是所有语言必须支持动态mapping，在处理之前并不知道schema
specific mapping
java和C++都可以事先生成源代码，比generic mapping有更多domain-oriented的api
reflect mapping
使用反射将avro类型转换成java类型，但这种mapping比前两种都慢，故弃用