Avro序列化与反序列化

参考资料：
Avro Api：
http://avro.apache.org/docs/current/api/java/index.html
大牛的博客：
http://blog.csdn.net/xyw_blog/article/details/8967362
http://www.cnblogs.com/fillPv/p/5009737.html
http://blog.kazaff.me/2015/04/30/Avro%E7%9A%84%E4%B8%89%E7%A7%8D%E5%BA%8F%E5%88%97%E5%8C%96%E4%B8%8E%E5%8F%8D%E5%BA%8F%E5%88%97%E5%8C%96%E6%96%B9%E6%B3%95/
1、下载avro-1.7.7.jar and avro-tools-1.7.7.jar两个jar包，放到指定文件目录。下载地址 http://www.trieuvan.com/apache/avro/avro-1.7.7/java/

　　　将jar包放入制定的文件夹下

2、该目录下新建user.avsc文件，内容是：　　

{“namespace”: “example.avro”,
“type”: “record”,
“name”: “User”,
“fields”: [
{“name”: “name”, “type”: “string”},
{“name”: “favorite_number”, “type”: [“int”, “null”]},
{“name”: “favorite_color”, “type”: [“string”, “null”]}
]
}

3、打开cmd，进入到该目录,执行命令生成User类,注意命令后面有个”.”，表示生成的代码放在本目录下。

java -jar avro-tools-1.7.7.jar compile schema user.avsc java .
　　

　　在该文件夹下的Java文件下的../example/avro/目录下就会生成User.java文件。

4.使用eclipse新建maven项目，在pom.xml加入avro的依赖。　　

org.apache.avro
avro
1.7.7

5.　把生成的User.java类复制到工程中，注意这个User.java里面生成的User类及其内部类的包名默认是user.avsc文件中的namespace的值，

　　在本例中也就是example.avro。需要全部替换为自己的包名。

有兴趣可自行查看生成的User.java类
6.
用java实现序列化与反序列化

package com.netease.kafka.hdfs.avro;

import java.io.File;
import java.io.IOException;

import org.apache.avro.file.DataFileReader;
import org.apache.avro.file.DataFileWriter;
import org.apache.avro.io.DatumReader;
import org.apache.avro.io.DatumWriter;
import org.apache.avro.specific.SpecificDatumReader;
import org.apache.avro.specific.SpecificDatumWriter;

/**
 * 
 * @author bjfeixiuhong 2016年6月27日 Serialize User to disk/Deserialize disk to User
 */
public class AvroTest {
    public static void SerializeUser() throws IOException {
        //
        User user1 = new User();
        user1.setName("zhangsan");
        user1.setFavoriteNumber(21);
        user1.setFavoriteColor(null);

        // Alternate constructor
        User user2 = new User("Ben", 7, "red");

        // Construct via builder
        User user3 = User.newBuilder().setName("Charlie")
                .setFavoriteColor("blue").setFavoriteNumber(null).build();
        String path = "D:\\tmp\\user.avro"; // avro文件存放目录
        DatumWriter<User> userDatumWriter = new SpecificDatumWriter<User>(
                User.class);
        DataFileWriter<User> dataFileWriter = new DataFileWriter<User>(
                userDatumWriter);
        dataFileWriter.create(user1.getSchema(), new File(path));
        // 把生成的user对象写入到avro文件
        dataFileWriter.append(user1);
        dataFileWriter.append(user2);
        dataFileWriter.append(user3);
        dataFileWriter.close();

    }
    public static void DeserializeUser() throws IOException{
        DatumReader<User> userDatumReader=new SpecificDatumReader<User>(User.class);
        File file=new File("D:\\tmp\\user.avro");
        DataFileReader<User> dataFileReader=new DataFileReader<User>(file,userDatumReader);
        User user=null;
        while(dataFileReader.hasNext()){
            user=dataFileReader.next();
            System.out.println(user);
        }
    }
    public static void main(String[] args) throws IOException {
        SerializeUser();
        DeserializeUser();
    }

}