如何使用Avro文件

最新推荐文章于 2023-02-24 22:50:28 发布
最新推荐文章于 2023-02-24 22:50:28 发布
阅读量1.4k 收藏
点赞数
分类专栏： 软件工程

本文介绍了如何使用ApacheSqoop实用程序将数据从Oracle数据库传输到S3。数据将以Avro数据格式存储。

数据传输采用了以下技术：

  • Apache Sqoop 1.4.7
  • Oracle 12c
  • Amazon EMR 5.16.0(Hadoop发行版2.8.4)

Sqoop命令以Avro格式存储数据

ApacheSqoop1.4.7支持Avro数据文件。要以Avro格式存储数据，应将以下参数添加到Sqoop命令中：

--as-avrodatafile # imports data to Avro data files 
--compression-codec snappy # use Hadoop codec (in this case - snappy)

Sqoop命令的模板如下：

sqoop import \
  --bindir ./ \
  --connect 'dbc:oracle:thin:<username>/password@<host>:<port>/<instance_name>' \     
      # 'jdbc:sqlserver://<host>:<port>;databasename=<database_name>' \ # SQL Server 2008 and higher
      # 'jdbc:jtds:sqlserver://<host>:<port>/<database_name>' \ - #SQL Server 2000 \
  --username <username> \
  --driver <driver_class> # manually specify JDBC driver class to use
                          # example: --driver net.sourceforge.jtds.jdbc.Driver
  --connection-manager # Specify connection manager class to use
                       # example: --connection-manager org.apache.sqoop.manager.SQLServerManager
  --password <password> \
  --num-mappers <n> \
  --fields-terminated-by '\t' \ # sets the field separator character
  --lines-terminated-by '\n' \  # sets the end-of-line character
  --as-avrodatafile \           # imports data to Avro data files
  --compression-codec snappy \  # use Hadoop codec (in this case - snappy)
  --options-file <path_to_options_file> \
  --split-by <field_name> \ # only used if number of mappers > 1
  --target-dir s3://<path> \
      # example for HDFS: --target-dir hdfs:///<path>
  --null-string '' \
  --null-non-string ''
  --boundary-query # if used then --split-by should also be present

Oracle将数据转储到S3的Sqoop命令示例：

sqoop import \
  -Dmapreduce.job.user.classpath.first=true \
  --connect "jdbc:oracle:thin:user/password@host_address.com:1521/orcl" \
  --num-mappers 1 \
  --query 'select * from employee where $CONDITIONS' \
  --target-dir s3://my-bucket/staging/employee \
  --as-avrodatafile \
  --compression-codec snappy \
  --null-string '' \
  --null-non-string ''

请注意，当您运行该命令时，目标目录不存在，否则Sqoop命令将失败。

您可以使用一个简单的AWSCLI命令来删除目标目录：

aws s3 rm s3://my-bucket/staging/employee --recursive

Oracle将数据转储到Hadoop的Sqoop命令示例：

sqoop import \
  -Dmapreduce.job.user.classpath.first=true \
  --connect "jdbc:oracle:thin:user/password@host_address.com:1521/orcl" \
  --num-mappers 1 \
  --query 'select * from employee where $CONDITIONS' \
  --delete-target-dir
  --target-dir /user/hive/warehouse/employee \
  --as-avrodatafile \
  --compression-codec snappy \
  --null-string '' \
  --null-non-string ''

注意，有一个参数， -删除-目标-dir,在删除目标目录的命令中，只有当目标目录位于HDFS中时才能使用。

Sqoop可以将数据传输到Hadoop(HDFS)或AWS(S3)。要查询传输的数据，需要在物理文件之上创建表。如果数据被传输到Hadoop，您可以创建Hive表。如果数据被传输到S3，则可以创建Hive表或AmazonAthena表。在这两种情况下，您都需要一个可以从物理文件中检索的表模式。从1.4.7版(EMR5.14.0)开始，Hadoop发行版：Amazon2.8.3 Sqoop自动检索表模式并将其存储在AutoGeneratedSchema.avsc文件在同一个文件夹中。如果使用Sqoop版本1.4.6(EMR 5.13.0的一部分)或更低版本，则可以手动检索表模式。

如果数据的目的地是HDFS，则可以使用以下命令检索表架构：

hadoop jar avro-tools-1.8.1.jar getschema /user/hive/warehouse/employee/part-m-00000.avro > employee.avsc

如果数据的目标是S3，则需要将Avro数据文件复制到本地文件系统，然后检索架构：

java -jar avro-tools-1.8.1.jar getschema part-m-00000.avro > employee.avsc

Avro-tools-1.8.1.jar是Avro工具的一部分，它提供用于处理Avro文件的CLI接口。

在检索表模式之后，可以使用它来进一步创建表。

在蜂巢中创建Avro表

要在Hive中创建Avro表(在Hadoop集群上或在EMR上)，您必须提供从Avro数据文件中检索到的表模式位置：

CREATE TABLE employee
STORED AS AVRO
LOCATION '/user/hive/warehouse/employee'
TBLPROPERTIES('avro.schema.url'='hdfs:///user/hive/warehouse/avsc/employee.avsc');

还可以在S3：中指定表位置：

CREATE TABLE employee
STORED AS AVRO
location 's3://my-bucket/staging/employee'
TBLPROPERTIES ('avro.schema.url'='hdfs:///user/hive/warehouse/avsc/employee.avsc');

您甚至可以在S3中保留一个表模式：

CREATE EXTERNAL TABLE employee
STORED AS AVRO
location 's3:/my-bucket/staging/employee'
TBLPROPERTIES ('avro.schema.url'='s3://my-bucket/staging/avsc/employee.avsc');

Employee表的Avro架构如下所示：

    {
      "type" : "record",
      "name" : "AutoGeneratedSchema",
      "doc" : "Sqoop import of QueryResult",
      "fields" : [ {
        "name" : "ID",
        "type" : [ "null", "string" ],
        "default" : null,
        "columnName" : "ID",
        "sqlType" : "2"
      }, {
        "name" : "NAME",
        "type" : [ "null", "string" ],
        "default" : null,
        "columnName" : "NAME",
        "sqlType" : "12"
      }, {
        "name" : "AGE",
        "type" : [ "null", "string" ],
        "default" : null,
        "columnName" : "AGE",
        "sqlType" : "2"
      }, {
        "name" : "GEN",
        "type" : [ "null", "string" ],
        "default" : null,
        "columnName" : "GEN",
        "sqlType" : "12"
      }, {
        "name" : "CREATE_DATE",
        "type" : [ "null", "long" ],
        "default" : null,
        "columnName" : "CREATE_DATE",
        "sqlType" : "93"
      }, {
        "name" : "PROCESS_NAME",
        "type" : [ "null", "string" ],
        "default" : null,
        "columnName" : "PROCESS_NAME",
        "sqlType" : "12"
      }, {
        "name" : "UPDATE_DATE",
        "type" : [ "null", "long" ],
        "default" : null,
        "columnName" : "UPDATE_DATE",
        "sqlType" : "93"
      } ],
      "tableName" : "QueryResult"
    }

注意，所有时间戳列都定义为短的.

重要*在蜂巢中创建的所有表都使用创建表语句是托管表。这意味着，如果删除表，HDFS或S3中的相应目录也将被删除。要保留数据为HDFS或S3，应将表创建为外部表：

CREATE EXTERNAL TABLE employee

在这种情况下，即使外部表被删除，HDFS或S3中的物理文件也将保持不变。

在AmazonAthena中创建一个Avro表

AmazonAthena不支持table属性。avro.schema.url-模式需要显式地添加在avro.schema.literal:

    CREATE EXTERNAL TABLE employee
    (
      ID string,
      NAME string,
      AGE string,
      GEN string,
      CREATE_DATE bigint,
      PROCESS_NAME string,
      UPDATE_DATE bigint
    )
    STORED AS AVRO
    LOCATION 's3://my-bucket/staging/employees'
    TBLPROPERTIES (
    'avro.schema.literal'='
    {
        "type" : "record",
        "name" : "AutoGeneratedSchema",
        "doc" : "Sqoop import of QueryResult",
        "fields" : [ {
          "name" : "ID",
          "type" : [ "null", "string" ],
          "default" : null,
          "columnName" : "ID",
          "sqlType" : "2"
        }, {
          "name" : "NAME",
          "type" : [ "null", "string" ],
          "default" : null,
          "columnName" : "NAME",
          "sqlType" : "12"
        }, {
          "name" : "AGE",
          "type" : [ "null", "string" ],
          "default" : null,
          "columnName" : "AGE",
          "sqlType" : "2"
        }, {
          "name" : "GEN",
          "type" : [ "null", "string" ],
          "default" : null,
          "columnName" : "GEN",
          "sqlType" : "12"
        }, {
          "name" : "CREATE_DATE",
          "type" : [ "null", "long" ],
          "default" : null,
          "columnName" : "CREATE_DATE",
          "sqlType" : "93"
        }, {
          "name" : "PROCESS_NAME",
          "type" : [ "null", "string" ],
          "default" : null,
          "columnName" : "PROCESS_NAME",
          "sqlType" : "12"
        }, {
          "name" : "UPDATE_DATE",
          "type" : [ "null", "long" ],
          "default" : null,
          "columnName" : "UPDATE_DATE",
          "sqlType" : "93"
        } ],
        "tableName" : "QueryResult"
      }
    ');

注意，表定义中的所有时间戳列都定义为比金.对此的解释如下。

使用Avro中的时间戳

当Sqoop将数据从Oracle导入到Avro时(使用-as-avrodatafile)它以unix时间格式存储所有“时间戳”值。(时代)，即短的.

在蜂巢

在Hive中创建Avro表时不会发生任何更改：

CREATE TABLE employee
STORED AS AVRO
LOCATION '/user/hive/warehouse/employee'
TBLPROPERTIES ('avro.schema.url'='hdfs:///user/hive/warehouse/avsc/employee.avsc');

查询数据时，只需将毫秒转换为弦:

from_unixtime(<Unix time column> div 1000)

不使用时间戳转换的结果数据集如下所示：

hive> select id, name, age, gen, create_date, process_name, update_date 
    > from employee limit 2;
OK
id  name    age  gen  create_date    process_name  update_date
--  ----    ---  ---  -----------    ------------  -----------
2   John    30   M    1538265652000  BACKFILL      1538269659000
3   Jennie  25   F    1538265652000  BACKFILL      1538269659000

使用时间戳转换生成的数据集如下所示：

hive> select 
    >     id, name, age, gen, 
    >     from_unixtime(create_date div 1000) as create_date, 
    >     process_name, 
    >     from_unixtime(update_date div 1000) as update_date 
    > from employee limit 2;
OK
id  name    age  gen  create_date          process_name  update_date
--  ----    ---  ---  -----------          ------------  -----------
2   John    30   M    2018-09-30 00:00:52  BACKFILL      2018-09-30 01:07:39
3   Jennie  25   F    2018-09-30 00:00:52  BACKFILL      2018-09-30 01:07:39

重要*在蜂巢中，如果保留字用作列名(如时间戳)您需要使用反引号来转义它们：

select from_unixtime(`timestamp` div 1000) as time_stamp 
from employee;

在亚马逊雅典娜

创建雅典娜表时，所有短的 字段应创建为比金 在创建表中 语句(在Avro模式中不存在！)：

    CREATE EXTERNAL TABLE employee
    (
      ID string,
      NAME string,
      AGE string,
      GEN string,
      CREATE_DATE bigint,
      PROCESS_NAME string,
      UPDATE_DATE bigint
    )
    STORED AS AVRO
    LOCATION 's3://my-bucket/staging/employee'
    TBLPROPERTIES (
    'avro.schema.literal'='
    {
        "type" : "record",
        "name" : "AutoGeneratedSchema",
        "doc" : "Sqoop import of QueryResult",
        "fields" : [ {
          "name" : "ID",
          "type" : [ "null", "string" ],
          "default" : null,
          "columnName" : "ID",
          "sqlType" : "2"
        }, {
          "name" : "NAME",
          "type" : [ "null", "string" ],
          "default" : null,
          "columnName" : "NAME",
          "sqlType" : "12"
        }, {
          "name" : "AGE",
          "type" : [ "null", "string" ],
          "default" : null,
          "columnName" : "AGE",
          "sqlType" : "2"
        }, {
          "name" : "GEN",
          "type" : [ "null", "string" ],
          "default" : null,
          "columnName" : "GEN",
          "sqlType" : "12"
        }, {
          "name" : "CREATE_DATE",
          "type" : [ "null", "long" ],
          "default" : null,
          "columnName" : "CREATE_DATE",
          "sqlType" : "93"
        }, {
          "name" : "PROCESS_NAME",
          "type" : [ "null", "string" ],
          "default" : null,
          "columnName" : "PROCESS_NAME",
          "sqlType" : "12"
        }, {
          "name" : "UPDATE_DATE",
          "type" : [ "null", "long" ],
          "default" : null,
          "columnName" : "UPDATE_DATE",
          "sqlType" : "93"
        } ],
        "tableName" : "QueryResult"
      }
    ');

查询数据时，只需将毫秒转换为弦:

from_unixtime(<Unix time column> / 1000)

不使用时间戳转换的结果数据集如下所示：

select id, name, age, gen, create_date, process_name, update_date 
from employee limit 2;
id  name    age  gen  create_date    process_name  update_date
--  ----    ---  ---  -----------    ------------  -----------
2   John    30 M    1538265652000  BACKFILL      1538269659000
3   Jennie  25 F    1538265652000  BACKFILL      1538269659000

使用时间戳转换生成的数据集如下所示：

select id, name, age, gen,
  from_unixtime(create_date / 1000) as create_date,
  process_name, 
  from_unixtime(update_date / 1000) as update_date
from employee limit 2;
id  name    age  gen  create_date              process_name  update_date
--  ----    ---  ---  -----------              ------------  -----------
2   John    30   M    2018-09-30 00:00:52.000  BACKFILL      2018-09-30 01:07:39.000
3   Jennie  25   F    2018-09-30 00:00:52.000  BACKFILL      2018-09-30 01:07:39.000

将时间戳存储为文本

如果您不希望每次运行查询时都从Unix时间转换时间戳，则可以通过向Sqoop添加以下参数将时间戳值存储为文本：

--map-column-java CREATE_DATE=String,UPDATE_DATE=String

在应用此参数并运行Sqoop之后，表模式如下所示：

    {
      "type" : "record",
      "name" : "AutoGeneratedSchema",
      "doc" : "Sqoop import of QueryResult",
      "fields" : [ {
        "name" : "ID",
        "type" : [ "null", "string" ],
        "default" : null,
        "columnName" : "ID",
        "sqlType" : "2"
      }, {
        "name" : "NAME",
        "type" : [ "null", "string" ],
        "default" : null,
        "columnName" : "NAME",
        "sqlType" : "12"
      }, {
        "name" : "AGE",
        "type" : [ "null", "string" ],
        "default" : null,
        "columnName" : "AGE",
        "sqlType" : "2"
      }, {
        "name" : "GEN",
        "type" : [ "null", "string" ],
        "default" : null,
        "columnName" : "GEN",
        "sqlType" : "12"
      }, {
        "name" : "CREATE_DATE",
        "type" : [ "null", "string" ],
        "default" : null,
        "columnName" : "CREATE_DATE",
        "sqlType" : "93"
      }, {
        "name" : "PROCESS_NAME",
        "type" : [ "null", "string" ],
        "default" : null,
        "columnName" : "PROCESS_NAME",
        "sqlType" : "12"
      }, {
        "name" : "UPDATE_DATE",
        "type" : [ "null", "string" ],
        "default" : null,
        "columnName" : "UPDATE_DATE",
        "sqlType" : "93"
      } ],
      "tableName" : "QueryResult"
    }

注意，表架构中的时间戳列定义为弦.

用于以字符串格式存储时间戳字段的Sqoop命令：

sqoop import \
  -Dmapreduce.job.user.classpath.first=true \
  --connect "jdbc:oracle:thin:user/password@host_address.com:1521/orcl" \
  --num-mappers 1 \
  --query 'select * from employee where $CONDITIONS' \
  --target-dir s3://my-bucket/staging/employee_ts_str \
  --as-avrodatafile \
  --compression-codec snappy \
  --null-string '' \
  --null-non-string '' \
  --map-column-java CREATE_DATE=String,UPDATE_DATE=String

对于将数据转储到HDFS，Sqoop命令将与-目标-DIR参数：

--target-dir hdfs:.///user/hive/warehouse/employee_ts_str

 

在蜂巢

使用新表模式在Hive中创建一个新表：

CREATE TABLE employee_ts_str
STORED AS AVRO
LOCATION '/user/hive/warehouse/employee_ts_str'
TBLPROPERTIES('avro.schema.url'='hdfs:///user/hive/warehouse/avsc/employee_ts_str.avsc');

选择不使用时间戳转换的数据：

hive> select id, name, age, gen, create_date, process_name, update_date
    > from employee_ts_str limit 2;
OK
id  name   age  gen  create_date          process_name  update_date
--  ----   ---  ---  -----------          ------------  -----------
2  John    30   M    2018-09-30 00:00:52  BACKFILL      2018-09-30 01:07:39
3  Jennie  25   F    2018-09-30 00:00:52  BACKFILL      2018-09-30 01:07:39

在亚马逊雅典娜

使用新的表模式在AmazonAthena中创建一个新表：

    CREATE EXTERNAL TABLE employee_ts_str
    (
      ID string,
      NAME string,
      AGE string,
      GEN string,
      CREATE_DATE string,
      PROCESS_NAME string,
      UPDATE_DATE string
    )
    STORED AS AVRO
    LOCATION 's3://my-bucket/staging/employee_ts_str'
    TBLPROPERTIES (
    'avro.schema.literal'='
    {
        "type" : "record",
        "name" : "AutoGeneratedSchema",
        "doc" : "Sqoop import of QueryResult",
        "fields" : [ {
          "name" : "ID",
          "type" : [ "null", "string" ],
          "default" : null,
          "columnName" : "ID",
          "sqlType" : "2"
        }, {
          "name" : "NAME",
          "type" : [ "null", "string" ],
          "default" : null,
          "columnName" : "NAME",
          "sqlType" : "12"
        }, {
          "name" : "AGE",
          "type" : [ "null", "string" ],
          "default" : null,
          "columnName" : "AGE",
          "sqlType" : "2"
        }, {
          "name" : "GEN",
          "type" : [ "null", "string" ],
          "default" : null,
          "columnName" : "GEN",
          "sqlType" : "12"
        }, {
          "name" : "CREATE_DATE",
          "type" : [ "null", "string" ],
          "default" : null,
          "columnName" : "CREATE_DATE",
          "sqlType" : "93"
        }, {
          "name" : "PROCESS_NAME",
          "type" : [ "null", "string" ],
          "default" : null,
          "columnName" : "PROCESS_NAME",
          "sqlType" : "12"
        }, {
          "name" : "UPDATE_DATE",
          "type" : [ "null", "string" ],
          "default" : null,
          "columnName" : "UPDATE_DATE",
          "sqlType" : "93"
        } ],
        "tableName" : "QueryResult"
      }
    ');

注意，表定义中的时间戳列定义为弦.

选择不使用时间戳转换的数据：

select id, name, age, gen, create_date, process_name, update_date
from employee_ts_str limit 2;
id  name    age gen  create_date          process_name  update_date
--  ----   ---  ---  -----------          ------------  -----------
2   John    30  M    2018-09-30 00:00:52  BACKFILL      2018-09-30 01:07:39
3   Jennie  25  F    2018-09-30 00:00:52  BACKFILL      2018-09-30 01:07:39

Avro文件连接

如果有多个输出文件(有多个映射器)，并且希望将它们组合成一个文件，则可以使用级联：

hadoop jar avro-tools-1.8.1.jar part-m-00000.avro part-m-00001.avro cons_file.avro

文件可以是本地文件，也可以是S3文件：

hadoop jar avro-tools-1.8.1.jar concat s3://my-bucket/staging/employee/part-m-00000.avro s3://my-bucket/staging/employee/part-m-00001.avro s3://my-bucket/staging/employee/employee_final.avro

摘要

本文解释了如何将数据从关系数据库(Oracle)传输到S3或HDFS，并使用ApacheSqoop将其存储在Avro数据文件中。本文还演示了如何使用Avro表模式，以及如何处理Avro中的时间戳字段(使它们保持在Unix Time(Epoch Time)或转换为弦数据类型)。

Tybyqi
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive序列化
飞朋的博客
01-07 1283
Table of Contents AvroSerDe 概述 使用需求 Avro 到 Hive 类型转换 创建avro支持的Hive表 All Hive versions Hive 0.14 and later versions 将表写入Avro文件 All Hive versions Hive 0.14 and later Avro文件扩展名 指定表的Avro模式 Us...
Hive官方使用手册——Avro Files
三米学习笔记杂货铺
03-23 4253
本文为自己翻译的译文，原文地址：https://cwiki.apache.org/confluence/display/Hive/AvroSerDeHive官方使用手册——Avro FilesAvailability最早支持AvroSerDe的版本The AvroSerde is available in Hive 0.9.1 and greater.概述 –  Hive中使用AvroAvroSe...
2021-06-29 解决在使用avro序列化过程中出现的Snappy was not available问题
qq_37533306的博客
06-29 300
解决在使用avro序列化过程中出现的Snappy was not available 该问题是缺一个包导致的，在maven中引入该包即可： <dependency> <groupId>org.xerial.snappy</groupId> <artifactId>snappy-java</artifactId> <version>1.1.2.4</version> </dependency
Avro总结(RPC/序列化)
每天一小步
07-08 928
[size=medium] Avro（读音类似于[ævrə]）是Hadoop的一个子项目，由Hadoop的创始人Doug Cutting（也是Lucene，Nutch等项目的创始人，膜拜）牵头开发，当前最新版本1.3.3。Avro是一个数据序列化系统，设计用于支持大批量数据交换的应用。它的主要特点有：支持二进制序列化方式，可以便捷，快速地处理大量数据；动态语言友好，Avro提供的机制使动态...
Avro根据avsc文件生成java类
四国棋客
10-26 3990
背景 Avro可以提供跨语言的数据交互，下面记录如何通过Avro生成java类 步骤 1、定义avsc文件，里面包含类的一些信息，比如包名、类名、属性列表等，示例如下 { "namespace": "szc.zone", "type": "record", "name": "Person", "fields": [ { ...
Avro使用详解
SW_LCC的博客
08-24 1592
Avro特点 Avro支持二进制编码和JSON编码两种序列化方式。序列化方法为深度优先，从左到右遍历。 Avro实现 Avro依赖模式（scehma)实现，模式用JSON格式定义。其中类型分为： 示例 { "namespace": "com.test.avro", "type":"record", "name":"Student", "fields":[ {"name":"name",...
Eclipse下关于avro的简单使用
wxy’的博客
01-24 348
avro是一个数据序列化系统，它提供 丰富的数据结构 快速可压缩的二进制数据形式 存储持久数据的文件容器 远程过程调用RPC 简单的动态语言结合功能 当有的大量的数据需要序列化的时候就派上用场了，我是因为Kafka需要序列化时想到使用这个工具。 pom.xml里最重要的两个东西： &amp;lt;dependency&amp;gt; &amp;lt;groupId&amp;gt;org.apach...
avro格式详解
hncscwc的博客
02-24 5343
【Avro介绍】Apache Avro是hadoop中的一个子项目，也是一个数据序列化系统，其数据最终以二进制格式，采用行式存储的方式进行存储。Avro提供了：丰富的数据结构可压缩、快速的二进制数据格式一个用来存储持久化数据的容器文件远程过程调用与动态语言的简单集成，代码生成不需要读取或写入数据文件，也不需要使用或实现RPC协议。代码生成是一种可选的优化，只值得在静态类型语言中实现。基于以上这些优...
实践+总结:Apache avro根据*.avsc文件提取对象的四种方式
MyNameIsWangYi的博客
06-22 1273
这几天在弄一件事情，用flink在kafka中读取数据，kafka中的数据是avro序列化的。 按照正常的思维就是需要数据解析，得到文件里面数据结构的bean的对象，但对于复杂结构的数据通过手动去编写bean对象是很麻烦的。 刚好Apache avro提供了一种工具，如下图 把上图中的两个jar包放到java目录下，就可以写脚本了 java -jar avro-tools-1.7.7.jar compile schema user.avsc java. 参考文章：大致过程参考 另一种方式参考文章：通过
关于Avro schema理解
qq_30035873的博客
08-09 5436
在做kafka Connect的时候，关于schema registry有几个疑问： 1. schema是个什么，在Avro里面起到了什么作用？ 2. schema registry是怎么管理的？ 首先第一个问题： 了解一下avro： https://blog.kazaff.me/2014/07/07/%E6%98%AF%E4%BB%80%E4%B9%88%E7%B3%BB%E5%88%...
Avro序列化操作（1）：环境搭建和Schema处理
hua245942641的专栏
02-23 7733
环境： Intellij 15.0.3 Maven avro 1.8.0Avro是一个数据序列化系统。 它提供以下： 1 丰富的数据结构类型 2 快速可压缩的二进制数据形式 3 存储持久数据的文件容器 4 远程过程调用RPC 5 简单的动态语言结合功能，Avro和动态语言结合后，读写数据文件和使用RPC协议都不需要生成代码，而代码生成作为一种可选的优化只值得在静态类型语言中实现。
AVRO表
weixin_43006131的博客
11-26 359
AVRO了解 Avro是一个数据序列化系统，设计用于支持大批量数据交换的应用。 它的主要特点有：支持二进制序列化方式，可以便捷，快速地处理大量数据；动态语言友好，Avro提供的机制使动态语言可以方便地处理Avro数据。 当前市场上有很多类似的序列化系统，如Google的Protocol Buffers, Facebook的Thrift。这些系统反响良好，完全可以满足普通应用的需求。针对重复开...
Hive之——Avro Hive SerDe
冰河的专栏
03-17 935
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/88623683 使用表属性信息定义Avro Schema 如下语句通过制定AvroSerDe、AvroContainerInputFormat和AvroContaionerOutputFormat创建一个Avro表。Avro具有自身的模式定义语言。这个模式定义语言可以使用属性a...
Avro技术应用_3. 利用 Hive 表处理 Avro 数据
Mike han
11-29 2773
Github 源码：https://github.com/Hanmourang
AVRO 规范－Schema的定义和声明
u013494310的专栏
05-21 9082
参考自http://avro.apache.org/docs/current/spec.html Avro 1.4.1规范定义了Avro序列化系统，它即将成为官方规范，Avro的各种实现方式必须遵循该规范。 Schema定义 AVRO的Schema是用JSON的格式表示的，Schema可以用 JSON String 来命名一个定义的类型 JSON 对象，形式如： 引用 {"t
hadoop深入研究:(十八)——Avro schema兼容
热门推荐
独自登高楼 望断天涯路
08-23 1万+
转载请写明来源地址：http://blog.csdn.net/lastsweetop/article/details/9817999所有源码在github上，https://github.com/lastsweetop/styhadoop
【Avro】两种根据avsc文件生成avro序列化的实体类-maven和avro-tool
九师兄
08-19 926
1.maven方式 项目结构如下 maven如下 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http:
大数据之Avro（一） --- Avro介绍，Avro数据类型，编译和非编译Avro进行串行和反串行，avro_tools.jar的使用
xcvbxv01的博客
09-11 3441
一、Avro介绍 ---------------------------------------------- 1.数据串行化系统 2.提供了丰富的数据结构，紧凑的快速的二进制格式，存储持久化数据的容器，远程过程调用 3.动态语言的简单集成，代码生成不需要读写数据文件，也不需要实现RPC协议 4.跨语言 5.可压缩，可切分 6.自描述语言：数据和数...
IDEA avsc文件生成实体类
zzw_17600691357的博客
09-04 1076
avsc文件生成实体类 pom.xml 加入 配置 <project> <dependencies> <!-- avsc文件 生成实体类依赖 --> <dependency> <groupId>org.apache.avro</groupId> <artifactId>avro</artifactId>
如何使用avro创建parquet文件
最新发布
04-24
您可以按照以下步骤使用avro创建parquet文件: 1. 定义一个avro schema，描述您要写入parquet文件的数据结构。 2. 使用avro库读入数据源（例如json或CSV文件），按照您定义的schema进行解析。您可以使用avro的代码...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值