spark使用scala读取Avro数据（转）

最新推荐文章于 2019-11-20 20:36:30 发布
最新推荐文章于 2019-11-20 20:36:30 发布
阅读量456 收藏
点赞数
文章标签： 大数据 scala java
原文链接：http://www.cnblogs.com/fillPv/p/5012308.html
版权

这是一篇翻译，原文来自：How to load some Avro data into Spark。

首先，为什么使用 Avro ？

最基本的格式是 CSV ，其廉价并且不需要顶一个一个 schema 和数据关联。

随后流行起来的一个通用的格式是 XML，其有一个 schema 和 数据关联，XML 广泛的使用于 Web Services 和 SOA 架构中。不幸的是，其非常冗长，并且解析 XML 需要消耗内存。

另外一种格式是 JSON，其非常流行易于使用因为它非常方便易于理解。

这些格式在 Big Data 环境中都是不可拆分的，这使得他们难于使用。在他们之上使用一个压缩机制（Snappy，Gzip）并不能解决这个问题。

因此不同的数据格式出现了。Avro 作为一种序列化平台被广泛使用，因为它能跨语言，提供了一个小巧紧凑的快速的二进制格式，支持动态 schema 发现（通过它的泛型）和 schema 演变，并且是可压缩和拆分的。它还提供了复杂的数据结构，例如嵌套类型。

例子

让我们来看一个例子，创建一个 Avro schema 并生成一些数据。在一个真实案例的例子中，组织机构通常有一些更加普通的格式，例如 XML，的数据，并且他们需要通过一些工具例如 JAXB 将他们的数据转换成 Avro。我们来使用这个例子，其中 twitter.avsc 如下：

{
   "type" : "record", "name" : "twitter_schema", "namespace" : "com.miguno.avro", "fields" : [ { "name" : "username", "type" : "string", "doc" : "Name of the user account on Twitter.com" }, { "name" : "tweet", "type" : "string", "doc" : "The content of the user's Twitter message" }, { "name" : "timestamp", "type" : "long", "doc" : "Unix epoch time in seconds" } ], "doc:" : "A basic schema for storing Twitter messages" }

twitter.json 中有一些数据：

{"username":"miguno","tweet":"Rock: Nerf paper, scissors is fine.","timestamp": 1366150681 } {"username":"BlizzardCS","tweet":"Works as intended. Terran is IMBA.","timestamp": 1366154481 }

我们将这些数据转换成二进制的 Avro 格式：

$ java -jar ~/avro-tools-1.7.7.jar fromjson --schema-file twitter.avsc twitter.json > twitter.avro

然后，我们将 Avro 数据转换为 Java：

$ java -jar /app/avro/avro-tools-1.7.7.jar compile schema /app/avro/data/twitter.avsc /app/avro/data/

现在，我们编译这些类并将其打包：

$ CLASSPATH=/app/avro/avro-1.7.7-javadoc.jar:/app/avro/avro-mapred-1.7.7-hadoop1.jar:/app/avro/avro-tools-1.7.7.jar $ javac -classpath $CLASSPATH /app/avro/data/com/miguno/avro/twitter_schema.java $ jar cvf Twitter.jar com/miguno/avro/*.class

我们启动 Spark，并将上面创建的 Jar 和一些需要的库（Hadoop 和 Avro）传递给 Spark 程序：

$ ./bin/spark-shell --jars /app/avro/avro-mapred-1.7.7-hadoop1.jar,/avro/avro-1.7.7.jar,/app/avro/data/Twitter.jar

在 REPL 中，我们获取数据并创建一个 RDD：

scala>
import com.miguno.avro.twitter_schema import org.apache.avro.file.DataFileReader; import org.apache.avro.file.DataFileWriter; import org.apache.avro.io.DatumReader; import org.apache.avro.io.DatumWriter; import org.apache.avro.specific.SpecificDatumReader; import org.apache.avro.mapreduce.AvroKeyInputFormat import org.apache.avro.mapred.AvroKey import org.apache.hadoop.io.NullWritable import org.apache.avro.mapred.AvroInputFormat import org.apache.avro.mapred.AvroWrapper import org.apache.avro.generic.GenericRecord import org.apache.avro.mapred.{AvroInputFormat, AvroWrapper} import org.apache.hadoop.io.NullWritable val path = "/app/avro/data/twitter.avro" val avroRDD = sc.hadoopFile[AvroWrapper[GenericRecord], NullWritable, AvroInputFormat[GenericRecord]](path) avroRDD.map(l => new String(l._1.datum.get("username").toString() ) ).first

返回结果：

res2: String = miguno

一些注意事项：

翻译结束。

接下来，我将上述过程在 CDH 5.3 集群中测试一遍。

验证

首先，在集群一个节点创建 twitter.avsc 和 twitter.json 两个文件。

然后，使用 avro-tools 将这些数据转换成二进制的 Avro 格式：

$ java -jar /usr/lib/avro/avro-tools.jar fromjson --schema-file twitter.avsc twitter.json > twitter.avro

这时候会生成 avro 文件：

$ ll
总用量 12 -rw-r--r-- 1 root root 543 3月 25 15:13 twitter.avro -rw-r--r-- 1 root root 590 3月 25 15:12 twitter.avsc -rw-r--r-- 1 root root 191 3月 25 15:12 twitter.json

将 Avro 数据转换为 Java：

$ java -jar /usr/lib/avro/avro-tools.jar compile schema twitter.avsc .

这时候会生成 twitter_schema.java 文件：

$ tree
.
├── com │   └── miguno │   └── avro │   └── twitter_schema.java ├── twitter.avro ├── twitter.avsc └── twitter.json

这时候会生成一个 Twitter.jar 的 jar 包。

编译这些类并将其打包：

$ CLASSPATH=/usr/lib/avro/avro-mapred-hadoop2.jar:/usr/lib/avro/avro-tools.jar $ javac -classpath $CLASSPATH com/miguno/avro/twitter_schema.java $ jar cvf Twitter.jar com/miguno/avro/*.class

在当前目录，运行 spark-shell:

spark-shell --jars /usr/lib/avro/avro-mapred-hadoop2.jar,/usr/lib/avro/avro.jar,Twitter.jar

将 twitter.avro 上传到 hdfs:

hadoop fs -put twitter.avro

在 REPL 中，我们创建一个 RDD 并查看结果是否和上面一致：

scala>
import com.miguno.avro.twitter_schema; import org.apache.avro.file.DataFileReader; import org.apache.avro.file.DataFileWriter; import org.apache.avro.io.DatumReader; import org.apache.avro.io.DatumWriter; import org.apache.avro.specific.SpecificDatumReader; import org.apache.avro.mapreduce.AvroKeyInputFormat import org.apache.avro.mapred.AvroKey import org.apache.hadoop.io.NullWritable import org.apache.avro.mapred.AvroInputFormat import org.apache.avro.mapred.AvroWrapper import org.apache.avro.generic.GenericRecord import org.apache.avro.mapred.{AvroInputFormat, AvroWrapper} import org.apache.hadoop.io.NullWritable val path = "twitter.avro" val avroRDD = sc.hadoopFile[AvroWrapper[GenericRecord], NullWritable, AvroInputFormat[GenericRecord]](path) avroRDD.map(l => new String(l._1.datum.get("username").toString() ) ).first

更多的 Avro Tools 用法，可以参考 Avro 介绍。

转载于:https://www.cnblogs.com/fillPv/p/5012308.html

dawujiong2967
关注
spark读取数据并打印_Spark读取和保存数据
weixin_35216188的博客
02-04 2535
读写Parquet(DataFrame)Spark SQL可以支持Parquet、JSON、Hive等数据源，并且可以通过JDBC连接外部数据源。前面的介绍中，我们已经涉及到了JSON、文本格式的加载，这里不再赘述。这里介绍Parquet，下一节会介绍JDBC数据库连接。Parquet是一种流行的列式存储格式，可以高效地存储具有嵌套字段的记录。Parquet是语言无关的，而且不与任何一种数据处理框...
Scala CSV转case class对象，支持自定义解析
梦境迷离
05-03 618
背景 转为对象：方便地读取CSV文件到Scala类型，便于使用已知数据。 构造数据：随机Scala对象，写入CSV文件，便于创建或Mock新数据。 要求&目标 不引入任何第三方库，能够定制CSV某列的格式，可以解析复杂的CSV结构，而不仅限于普通的简单格式，最终能配置解析的一些规则。能使用类型安全的方式编程。 下面这个使用shapeless实现，比较简洁，能处理一般的转换，主要问题是我们需要处理CSV中的JSON，而并不需要shapeless的其他功能，所以，嗯。。为了一个方法引入了一个库，不可取。
avro4s：Scala的Avro模式生成和序列化反序列化
02-05
Avro4s是用Scala编写的用于的模式/类生成以及序列化/反序列化库。 目的是允许与Scala无缝使用，而无需自己编写样板转换，也不需要反射的运行时开销。 因此，这是一个基于宏的库，并在编译时生成用于Avro的代码。 该库的功能是： 在编译时从类生成模式 将Scala类型转换为Avro类型的无样板序列化 Avro类型到Scala类型的免模板反序列化 注意：本文参考4.0发行版。 模式 与Json不同，Avro是基于架构的格式。 您会发现自己想要频繁生成模式，而手工或通过基于Java的SchemaBuilder类编写模式对于复杂的域模型而言可能是乏味的。 Avro4s允许我们在编译时通过
Mark : Spark-Avro学习1之使用SparkSQL读取AVRO文件
tianyeshiye
04-07 1338
更多Spark学习examples代码请见：https://github.com/xubo245/SparkLearning1.安装：[plain] view plain copy https://repo.maven.apache.org/maven2/com/databricks/spark-avro_2.10/2.0.1/  导入到Spark项目里文件：[plain] view plain ...
spark读取avro格式
DaHuangXiao的博客
05-23 3108
package scala import com.alibaba.fastjson.JSON import org.apache.avro.generic.GenericRecord import org.apache.avro.mapred.{AvroInputFormat, AvroWrapper} import org.apache.hadoop.io.NullWritable impor...
Spark-Avro学习1之使用SparkSQL读取AVRO文件
Keep Learning
05-02 5356
更多Spark学习examples代码请见：https://github.com/xubo245/SparkLearning 1.安装： https://repo.maven.apache.org/maven2/com/databricks/spark-avro_2.10/2.0.1/导入到Spark项目里 文件： https://github.com/databricks/s
Spark-Avro学习4之使用AvroWritePartitioned存储AVRO文件时进行划分
Keep Learning
05-02 1421
更多Spark学习examples代码请见：https://github.com/xubo245/SparkLearning 1.主要是partition存储avro文件 2.代码： /** * @author xubo * @time 20160502 * ref https://github.com/databricks/spark-avro */ package org.a
sql-avro:使用 Spark SQL 读取 Avro 数据的库
07-05
`sql-avro` 库则是专门为了方便 Spark SQL 读取和写入 Avro 格式数据而设计的。 首先，我们需要理解 Avro 的核心特性。Avro 使用 JSON 格式的模式定义数据结构，这使得 Avro 文件可以跨语言共享，且模式可以随着...
kafka-storm-starter：代码示例显示了如何将Apache Kafka 0.8+与Apache Storm 0.9+和Apache Spark Streaming 1.1+集成在一起，同时使用Apache Avro作为数据序列化格式
02-05
Avro使用紧凑的二进制编码，适合网络传输和存储。它还支持动态模式，使得数据模型可以随时间演进而无需破坏向后兼容性。 **集成Kafka、Storm和Spark Streaming** 的关键在于理解各自的API和数据模型。在Kafka Storm...
基于spark的Scala编程—RDD、DataFrame和DataSet的区别
心相印的专栏
11-20 751
本文主要介绍RDD、DataFrame和DataSet这三者到底有什么区别，主要介绍以下几个方面： 分别出现在spark的哪些版本？ 各自的优缺点是什么？ 应该如何选择使用哪个类别？ 分别出现在spark的哪些版本？ RDD是spark一开始就提出的概念，DataFrame是spark1.3.0版本提出来的，spark1.6.0版本又引入了DateSet的，但是在spark2.0版本中，Dat...
avrohugger：从Avro模式生成Scala案例类定义
02-15
Avrohugger 模式到案例的代码生成，可在Scala中使用Avro。 avrohugger-core ：在运行时生成源代码以供以后评估。 avrohugger-filesorter ：对架构文件进行排序，以确保正确的编译顺序。 avrohugger-tools ：在命令行使用avrohugger-tools jar生成源代码。 替代发行版： sbt ： sbt-avrohugger使用的sbt插件在编译时生成源代码。 maven ： avrohugger-maven-plugin使用的maven插件在编译时生成源代码。 gradle ： gradle-avrohugger-plugin plugin-使用的gradle插件在编译时生成源代码。 在网络上： avro2caseclass从Web应用程序生成源代码，可。 freestyle-rpc ： sbt-free
Spark-Avro学习9之SCALA环境下Avro使用（不生成code方式）
Keep Learning
05-02 2407
1.与上篇类似，只是代码改下： package org.apache.spark.avro.learning import java.io.File import java.text.SimpleDateFormat import java.util.Date import org.apache.avro.Schema import org.apache.avro.file.DataFileR
Avro：入门例子
Spring , Hadoop, Spark , BI , ML
07-23 6194
Avro是由Hadoop创始人Doug Cutting创建的一种语言无关的数据序列化和RPC框架，用于解决Hadoop中Writable序列化机制的缺点：缺少跨语言特性，与Java绑的太紧，数据格式很难被JVM外的语言进行处理。本文使用Specific API和Generic API来展示Avro的序列化和反序列化。创建Maven项目pom文件如下：<project xmlns="http://ma
Avro文件操作示例代码
乔的博客
05-20 2792
从avsc中读取schema 从Sequence file中反序列化avro数据 读取hdfs上的avro的schema和数据
AVRO
Sunshine
05-15 1465
Avro（[ævrə]）是Hadoop的一个子项目，由Hadoop的创始人Doug Cutting（也是Lucene，Nutch等项目的创始人）牵头开发。Avro是一个数据序列化系统，设计用于支持大批量数据交换的应用。它的主要特点有：支持二进制序列化方式，可以便捷，快速地处理大量数据；动态语言友好，Avro提供的机制使动态语言可以方便地处理Avro数据。一、数据序列化/反序列化(data seri...
Spark-Avro学习2之使用byDatabricksSparkAvroL读取AVRO文件
Keep Learning
05-02 1853
更多Spark学习examples代码请见：https://github.com/xubo245/SparkLearning 1.代码： /** * @author xubo * @time 20160502 * ref https://github.com/databricks/spark-avro */ package org.apache.spark.avro.lea
spark 读取avro文件
u012063409的博客
02-14 2977
1.引入依赖 com.databricks spark-avro_2.10 2.0.1 2.当读取的avro文件 SparkConf conf = new SparkConf(); conf.setAppName("SparkReadAvroTest"); JavaSparkContext sc = new JavaSparkContext(conf);
HDFS(Hadoop Distributed File System )常用命令示例：
zhanggf的博客
11-25 601
hadoop fs -mkdir /user/trunk hadoop fs -ls /user hadoop fs -lsr /user (递归的) hadoop fs -put test.txt /user/trunk hadoop fs -put test.txt . (复制到hdfs当前目录下，首先要创建当前目录) hadoop fs -get /user/trunk/test.tx
Apache Spark 2.4新特性解析：深度学习集成与性能提升
"Apache Spark 2.4是2.x系列的第五个版本，主要特性包括新的调度模型、增强的Spark SQL高阶函数、原生AVRO数据源、PySpark的热切评估模式、Spark on K8S对PySpark和R的支持、Structured Streaming的改进以及性能优化...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值