【Hive十三】Hive读写Avro格式的数据

最新推荐文章于 2022-09-10 12:39:15 发布

axxbc123

最新推荐文章于 2022-09-10 12:39:15 发布

阅读量1.1k

点赞数

分类专栏： Avro Hive 文章标签：大数据 c/c++ 数据库

本文链接：https://blog.csdn.net/axxbc123/article/details/84712179

版权

Hive 同时被 2 个专栏收录

19 篇文章 0 订阅

订阅专栏

Avro

4 篇文章 0 订阅

订阅专栏

本文介绍了如何在Hive中读写Avro格式的数据，包括创建Avro数据表、插入数据、查询及查看HDFS上的Avro二进制文件内容，详细阐述了Hive与Avro的集成使用。

摘要由CSDN通过智能技术生成

1. 原始数据

hive> select * from word; 
OK
1	MSN  
10	QQ  
100	Gtalk  
1000	Skype

2. 创建avro格式的数据表

hive> CREATE TABLE avro_table(age INT, name STRING)STORED AS AVRO;

3. 数据表的描述

hive> describe avro_table; 
OK
age                 	int                 	from deserializer   
name                	string              	from deserializer   
Time taken: 0.154 seconds, Fetched: 2 row(s)

4. 插入数据

hive> INSERT OVERWRITE TABLE avro_table SELECT * FROM word;

5. 查询

hive> select * from avro_table;
OK
1	MSN  
10	QQ  
100	Gtalk  
1000	Skype

6. HDFS上文件的内容（avro二进制格式)

Objavro.schema?{"type":"record","name":"avro_table","namespace":"default","fields":[{"name":"age","type":["null","int"],"doc":"\u0000","default":null},{"name":"name","type":["null","string"],"default":null}]} 9?$-侭蹈艉{3!
T
MSN  QQ  ?Gtalk  ?Skype   9?$-侭蹈艉{3!

7.参考

https://cwiki.apache.org/confluence/display/Hive/AvroSerDe