Avro下载及使用(序列化,反序列化)

一、Avro是什么?

       Avro是一个独立于编程语言的数据序列化系统,由Hadoop的创始人Doug Cutting创建。为了解决Hadoop中writable类型的不足(缺乏语言的可移植性)
avro模式通常用json编写,数据通常采用二进制格式编码。
优点:

  1. 丰富的数据结构。
  2. 紧凑、快速、二进制的数据格式。
  3. 一个容器文件,用来存储持久性数据。
  4. 远程程序呼叫 (RPC)。
  5. 与动态语言的简单集成。代码生成不需要读取或编写数据文件,也不需要使用或实施 RPC 协议。代码生成作为可选优化,仅值得针对静态键入的语言实施。
  6. schema和data同时存放在文件中存储,block之间有同步标记。
  7. avro是可切割的

数据序列化:
java–>ObjectOutputStream/ObjectInputStream
hadoop–>Writable–>DataOutputStream/DataInputStream

二、使用步骤

1. 下载

  1. 官网地址http://avro.apache.org/
    在这里插入图片描述
  2. 点击进去后,下拉点击下载,进入最新版本
    在这里插入图片描述
  3. 下拉点击下载在这里插入图片描述
  4. 点击图中链接
    在这里插入图片描述
  5. 下载稳定版在这里插入图片描述
  6. 找到Java点进去在这里插入图片描述
  7. 下载下面红框四个
    在这里插入图片描述在这里插入图片描述

三、 Java中使用Avro

参考官方文档,http://avro.apache.org/docs/current/gettingstartedjava.html,使用Java代码实现avro串行化
在这里插入图片描述

1. 新建maven项目

在maven中的pom.xml的<dependencies></dependencies>中加入下面代码,根据自己版本来

<dependency>
  <groupId>org.apache.avro
  • 1
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值