Hadoop之Avro介绍

原文地址: itweknow.cn/detail?id=7… ,欢迎大家访问。

什么是Avro

Avro是一个独立于编程语言的数据序列化系统。这个项目由Ddoug Cutting(Hadoop之父)创建,目标是解决Hadoop中Writable类型缺乏语言的可移植性的不足。Avro模式通常采用JSON来写,数据则采用二进制格式编码,也可采用基于JSON的数据编码方式。

Avro的数据类型和模式

Avro定义了一些基本的数据类型,我们可以用他们来构建应用特定的数据结构。下面的表格我们列举了Avro的基本类型。

类型描述模式示例
null空值"null"
boolean二进制值"boolean"
int32位带符号整数"int"
long64位带符号整数"long"
float单精度(32位)浮点数"float"
double双精度(64位)浮点数"double"
bytes8位无符号字节序列"bytes"
stringUnicode字符序列"string"

还有一些复杂的类型如下表所示:

类型描述模式示例
array一个排过序的对象集合。特定数组中的所有对象必须模式相同。{"type": "array","items": "long"}
map未排过序的键-值对。键必须是字符串,值可以是任何一种类型,但是某一个map内的所有值必须模式相同。{"type": "map", "values": "string"}
record一个任意类型的命名字段集合。(相当于java中的自定义对象){"type": "record", "name": "User", "doc":"A User Desc","fileds":[{"name":"nickname","type": "string"},{"name":"age","type":"int"}]}
enum一个命名的值集合(枚举){"type":"enum","name":"ActionStatus","doc":"操作状态","symbols":["SUCCESS","FAILED","ACTING"]}
fixed一组固定数量的8位无符号字节{"type":"fixed","name":"Md5Hash","size":16}
union模式的并集。并集可用JSON数组表示,其中每个元素为一个模式。并集表示的数据必须与其内的某个模式相匹配["null","string",{"type":"map","values":"string"}]

Avro数据文件

前面也提到过设计Avro的目的就是解决Hadoop中Writable类型缺乏语言的可移植性的不足。Avro数据文件主要是面向跨语言使用而设计的,我们可以通过Java写入文件,然后通过Python来读取文件,这都是没有问题的。数据文件的头部包含一个Avro模式和一个同步标识(sync marker),然后紧接着是一系列包含序列化Avro对象的数据块。数据块通过sync marker分隔。 这里有两个概念解释一下:

  • Avro模式 - 其实就相当于对象的定义,在这里我们规定字段的类型以及描述等信息。
  • sync marker - 对与该文件来讲是唯一的,存储在文件头部。

序列化和反序列化

上面也简单的了解了一下Avro,下面我们通过两段代码来尝试一下Avro的序列化和反序列化。

  • Avro模式定义,User.avsc
{
    "type": "record",
    "name": "User",
    "doc": "一个用户",
    "fields": [
        {"name": "name", "type": "string"},
        {"name": "age", "type": "int"}
    ]
}
复制代码
  • 序列化
@Test
public void write() throws IOException {
    Schema.Parser parser = new Schema.Parser();
    InputStream in = this.getClass().getResourceAsStream("User.avsc");
    Schema schema = parser.parse(in);
    GenericRecord record = new GenericData.Record(schema);
    record.put("name", "ganchaoyang");
    record.put("age", 23);

    File file = new File("result.avro");
    DatumWriter<GenericRecord> writer = new GenericDatumWriter<GenericRecord>(schema);
    try(DataFileWriter<GenericRecord> dataFileWriter = new DataFileWriter<GenericRecord>(writer)) {
        dataFileWriter.create(schema, file);
        dataFileWriter.append(record);
    }
}
复制代码
  • 反序列化
@Test
public void read() throws IOException {
    File file = new File("result.avro");
    DatumReader<GenericRecord> reader = new GenericDatumReader<>();
    try (DataFileReader<GenericRecord> dataFileReader = new DataFileReader<GenericRecord>(file, reader)) {
        GenericRecord record;
        while (dataFileReader.hasNext()) {
            record = dataFileReader.next();
            Assert.assertEquals("ganchaoyang", record.get("name").toString());
            Assert.assertEquals(23, record.get("age"));
        }
    }
}
复制代码
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值