Avro 数据格式和命令行

• 支持的原始类型：null,boolean,int,long,float,double,bytes,string
• 支持的复杂类型有：

records

• 必须："type":"record"
• 必须："name":"记录名"
• "namespace":"包名"
• "doc":"为schema提供文档"
• "aliases":"json的一个string数组，为这条记录提供别名"

• 必须："fields":"json数组，列举所有属性，每个fields都是一个json对象并包含如下属性"

  • 必须："name":"属性名"
  • 必须："type":"属性类型"
  • "doc":"属性文档"
  • "order":"默认升序"
  • "default":"属性默认值"

  

• 案例

  {
  "namespace": "example.avro",
  "type": "record",
  "name": "User",
  "fields": [
       {"name": "name", "type": "string"},
       {"name": "favorite_number",  "type": ["int", "null"]},
       {"name": "favorite_color", "type": ["string", "null"]}
  ]
  }

enums

• 必须："type":"enum"
• 必须："name":"enum名"
• "namespace":"限定和修饰name属性,包名"
• 必须："symbols":"string数组，列举所有枚举"
• "aliases":"string数组，为enum提供别名"

• "doc":"为此schema提供文档"

  {
      "type": "enum",
      "name": "Suit",
      "symbols": [
          "SPADES",
          "HEARTS",
          "DIAMONDS",
          "CLUBS"
      ]
  }

arrays

• 必须："items":"array中元素的Schema"

  {
    "type": "record",
    "name": "ArrAvro",
    "fields" : [
      {"name": "arr", "type": ["null",{"type":"array", "items":"string"}]}
    ]
  }
  编译后是：  @Deprecated public java.util.List<java.lang.CharSequence> arr;

maps

• 必须："values":"定义map的值的Schema,Maps的key都是string"

• Map定义为

  {
      "type": "record",
      "name": "MapAvro",
      "fields": [
          {
              "name": "map",
              "type": [
                  "null",
                  {
                      "type": "map",
                      "values": "long"
                  }
              ]
          }
      ]
  }
  编译后：  @Deprecated public java.util.Map<java.lang.CharSequence,java.lang.Long> map

unions

• Unions就像JSON的数组表示：["string", "null"]，声明了一个union的Schema，其元素即可以是string，也可以是null。
• Unions不能包含多个相同类型的Schema，除非是命名的record类型、命名的fixed类型和命名的enum类型。比如，如果unions中包含两个array类型，或者包含两个map类型都不允许；但是两个具有不同name的相同类型却可以。由此可见，union是通过Schema的name来区分元素Schema的，因为array和map没有name属性，当然只能存在一个array或者map。（使用name作为解析的原因是这样做会使得读写unions更加高效）。unions不能紧接着包含其他的union。
• 组合类型，表示各种类型的组合，使用数组进行组合。比如[“null”, “string”]表示类型可以为null或者string。
• 组合类型的默认值是看组合类型的第一个元素，因此如果一个组合类型包括null类型，那么null类型一般都会放在第一个位置，这样子的话这个组合类型的默认值就是null。
• 组合类型中不允许同一种类型的元素的个数不会超过1个，除了record，fixed和enum。比如组合类中有2个array类型或者2个map类型，这是不允许的。
• 组合类型不允许嵌套组合类型。

fixed.

• 必须："name":"名字"
• "namespace":"包名"
• "aliases":"别名"
• 必须："size":"一个整数，表示每个值的字节数"
• 比如16字节的fixed可以声明为：{"type": "fixed", "size": 16, "name": "md5"}

avro命令

• 使用avro工具将json文件转换成avro文件：java -jar avro-tools-1.8.0.jar fromjson --schema-file user.avsc user.json > user.avro
• 可以设置压缩格式：java -jar avro-tools-1.8.0.jar fromjson --codec snappy --schema-file user.avsc user.json > user2.avro
• 将avro文件反转换成json文件：

java -jar avro-tools-1.8.0.jar tojson user.avro
java -jar avro-tools-1.8.0.jar --pretty tojson user.avro

• 得到avro文件的meta：java -jar avro-tools-1.8.0.jar getmeta user.avro

  • 输出：

  avro.codec    null
  avro.schema    {"type":"record","name":"User","namespace":"example.avro","fields":[{"name":"name","type":"string"},{"name":"favorite_number","type":"int"},{"name":"favorite_color","type":"string"}]}

• 得到avro文件的schema：java -jar avro-tools-1.8.0.jar getschema user.avro
• 将文本文件转换成avro文件：java -jar avro-tools-1.8.0.jar fromtext user.txt usertxt.avro