Hive之FileFormats & SerDe,包含 ORC、Parquet、Json、Avro、正则等格式

最新推荐文章于 2023-05-31 20:10:28 发布
最新推荐文章于 2023-05-31 20:10:28 发布
阅读量1.3k 收藏 10
点赞数
分类专栏： Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shufangreal/article/details/106732734
版权

Hive之FileFormats & SerDe

1 FileFormat概念

首先什么是Hive的FileFormat？

Hive本身没有存储数据的能力，底层存储数据还得依靠Haddop的HDFS，HDFS上的数据可能是固定格式或者特殊格式的数据，通过FileFormat可以将数据格式与Hive的每一行Row对应起来，形成Hive的Table，这些Table的元数据都存储在Hive的MetaData数据库中，通过QueryProcessor组件中的MetaDataLayer访问元数据，这样的话就可以通过SQL的形式访问Hive的表中的数据了。

怎么通过Hive关联HDFS的数据？

CREATE TABLE TABLENAME ...
LOCATION 'HDFS://XXXX';

LOAD DATA INPATH INTO TABLE TABLENAME [PARTITION()];

一般什么时候用FileFormat?

FileFormat一般用于创建表的时候创建，或者修改表【分区】的时候使用使用，具体案例如下：

/* 使用方法一 */
/* Hive原生默认的FileFormat指定格式，还可以指定正则匹配的模式*/
CREATE TABLE IF NOT EXISTS tablename()
COMMENT ''
PARTITIONED BY (dt string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
MAP KEYS TERMINATED BY ':'
COLLECTION ITEMS TERMINATED BY ','
LINES TERMINATED BY '\n'
STORED AS ORC;

/* 使用方法二 */
/*一般用于不同特殊格式的文件如ORC、Parquet、Avro等*/
CREATE TABLE IF NOT EXISTS tablename()
COMMENT ''
PARTITIONED BY (dt string)
ROW FORMAT SERDE 'SERDE CLASS NAME'
STORED AS 
INPUTFORMAT ''
OUTPUTFORMAT '';

/*修改表的FILEFORMAT*/
ALTER TABLE TABLENAME [PARTITION()] SET FILEFORMAT ORC;

2 Hive SerDe

什么是SerDe？

SerDe是Serializer & DeSerializer的简称，Hive中的数据的流程走向可以分为读、写。

读：HDFS File=>InputFormat(RecordReader) =><key,value>=>Deserializer=>Row object

写：Row object=> Serializer=> <key,value>=> OurputFormat => HDFS File

Hive原则上是不拥有HDFS的数据的,那么怎么将HDFS的数据关联到Hive的表呢。

-- 1、外部表关联的形式，数据不受Hive管理，Drop table的时候只会删除对应的MetaData，数据依旧保存在HDFS上。
CREATE EXTERNAL TABLE() LOCATION 'HDFS://PATH';

-- 2 通过load将文件移到Hive的指定目录。
CREATE TABLE TABLENAME.....;
LOAD DATA INPAHT INTO TABLE TABLENAME [PARTITION()] ;

Hive目前有2个serde库,支持用户自定义SerDe的实体并投入到使用。

# 将会被deprecated
old=org.apache.hadoop.hive.serde 
# 最新的serde库
new=org.apache.hadoop.hive.serde2

3 Hive原生内置的SerDe

3.1 Avro (Hive-0.9.1 and later)

3.1.1 Hive与Avro的版本适配
Hive versionavro version
Hive 0.9.1Avro 1.5.3
Hive 0.10\0.11\0.12Avro 1.7.1
Hive 0.13 and 0.14Avro 1.7.5
-- table的数据最终保存成Avro
CREATE TABLE kst
  PARTITIONED BY (ds string)
  ROW FORMAT SERDE
 'org.apache.hadoop.hive.serde2.avro.AvroSerDe'
  STORED AS INPUTFORMAT
 'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'
  OUTPUTFORMAT
 'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'
  TBLPROPERTIES (
 'avro.schema.url'='http://schema_provider/kst.avsc');
 
-- 已有Avro数据
CREATE EXTERNAL TABLE kst1()
LOCATION 'hdfs://avro\'s parent dictory';
3.1.2 Avro到Hive的类型转换
Avro类型Hive类型Note描述
booleanboolean
bytesbinaryBytes are converted to Array[smallint] prior to Hive 0.12.0.
doubledouble
enumstringHive has no concept of enums.
fixedbinaryFixeds are converted to Array[smallint] prior to Hive 0.12.0.
floatfloat
intint
listarray
longbigint
mapmap
nullvoid
recordstruct
stringstring
unionunionUnions of [T, null] transparently convert to nullable T, other types translate directly to Hive’s unions of those types. However, unions were introduced in Hive 7 and are not currently able to be used in where/group-by statements. They are essentially look-at-only. Because the AvroSerde transparently converts [T,null], to nullable T, this limitation only applies to unions of multiple types or unions not of a single type and null.

NOTE:如果出现了问题排查的话可以在操作的时候通过

bin/hive --hiveconf hive.root.logger=INFO,console*

如果在desc avroname 或者 select * from avrotablename时出现error-error…时，那么我们可以设置：

alter table avrotablename set TBLPROPERTIES(
avro.schema.literal = 
avro.avro.schema.url =
);

3.2 ORC (Hive-0.11 and later)

3.2.1 ORC概念

什么是ORC？

ORC是一种典型的列式存储格式，全称是（Optimized Row Columnar），提供高效的方式去存储数据，它被设计出来的初衷是解决其他Hive的文件格式的限制，使用ORC可以在读、写、处理数据的时候提高明显的性能提升。

3.2.2 ORC的特点

1、在处理的时候一个Task只会产生一个文件，减轻NameNode的负载。

2、与Hive的DateTime、Decimal以及其他的数据类型（struct、map、list、union）完美支持。

3、ORC文件中存储了轻量级的index data，这样允许跳过对应的row group(stripes)，更快的寻找到所指定的row。

4、基于数据类型的block-mode的压缩，而不是record-mode级别，数据类型& String类型压缩方式不同。

5、可以使用不同的RecordReaders对同一个文件进行并发读取。

6、可以提供在不需要扫描和标记的情况下对文件进行切分的能力。

7、ORC文件绑定了reading、writing所需要的内存量。

8、元数据基于Protocol Buffer存储，可以支持对不同字段的删除、增加。

3.2.3 ORC的文件结构

在这里插入图片描述

3.2.4 ORC的文件结构解读

如上图所示，每个ORC文件都包含多个Stripes（Row Groups）、FileFooter、PostScript。

  • FileFooter是文件的辅助信息，包含ORC文件中的所有Stripe的信息集合、每个Stripes对应的行数、每列的数据类型，同时还包含一些列级别的聚合操作如sum、count、min、max等；

  • PostScript保存着的是压缩的参数、还有压缩后的大小标注；

  • Stripe是由多个Row Groups组成的，默认是250M，strpe越大读取HDFS的时候效率越高。

    • 每个Stripe又是由

      IndexData、RowData、StripeFooter组成

    • RowData是存储的实际数据，用来进行table scan

    • Stripe footer包含一个数据流的目录地址

    • IndexData包含每个column的max、min值，以及每个column值的row位置（包含1个bit的field或者布隆过滤器），每个Index节点提供了offsets允许寻找到对应压缩block以及解压后的字节数据，index只是用来选择出对应的stripes而不是作为查询的应答结果。

      • 有了相当频率的index节点，这就允许在stripe中通过row-skipping的形式进行快速read，尤其是大的stripe size，默认的是每次能跳过10000行。
3.2.5 如何指定ORC FileFormat

一个简单的案例如下。

1 SET hive.default.fileformat = orc;
2 CREATE TABLE TESTORC() STORED AS ORC;
3 ALTER TABLE TESTORC [PARTITION()] SET FIELFORMAT ORC;
--------------------
create table Addresses (
  name string,
  street string,
  city string,
  state string,
  zip int
) stored as orc tblproperties ("orc.compress"="snappy");
3.2.6 ORC相关的TBLPROPERTIES
属性值key默认值描述
orc.compressZLIBhigh level compression (one of NONE, ZLIB, SNAPPY)
orc.compress.size262,144number of bytes in each compression chunk
orc.stripe.size67,108,864number of bytes in each stripe
orc.row.index.stride10,000number of rows between index entries (must be >= 1000)
orc.create.indextruewhether to create row indexes
orc.bloom.filter.columns“”comma separated list of column names for which bloom filter should be created
orc.bloom.filter.fpp0.05false positive probability for bloom filter (must >0.0 and <1.0)

3.3 Regex (正则weblog格式)

CREATE TABLE apachelog (
  host STRING,
  identity STRING,
  user STRING,
  time STRING,
  request STRING,
  status STRING,
  size STRING,
  referer STRING,
  agent STRING)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
  "input.regex" = "([^]*) ([^]*) ([^]*) (-|\\[^\\]*\\]) ([^ \"]*|\"[^\"]*\") (-|[0-9]*) (-|[0-9]*)(?: ([^ \"]*|\".*\") ([^ \"]*|\".*\"))?"
)
STORED AS TEXTFILE;

3.4 Parquet (Hive-0.13 and later)

3.4.1 Parquet介绍

Parquet对Hadoop来说是一个支持宽表的列式存储格式，支持多种引擎读写parquet格式，常用的有 Hive、impala、spark，具体参考engine。

3.4.2 Parquet使用语法

parquet的使用语法基于不同的Hive版本

3.4.2.1 Hive 0.10-0.12

由于Hive0.10-0.12对Parquet还没有提供原生的支持，我们必须将parquet-hive-bundle jar引入到Hive lib，然后通过以下SQL语句。

CREATE TABLE parquet_test (
 id int,
 str string,
 mp MAP<STRING,STRING>,
 lst ARRAY<STRING>,
 strct STRUCT<A:STRING,B:STRING>) 
PARTITIONED BY (part string)
ROW FORMAT SERDE 'parquet.hive.serde.ParquetHiveSerDe'
 STORED AS
 INPUTFORMAT 'parquet.hive.DeprecatedParquetInputFormat'
 OUTPUTFORMAT 'parquet.hive.DeprecatedParquetOutputFormat';
3.4.2.2 Hive 0.13

0.13版本的Hive对Parquet提供了原生的支持。

CREATE TABLE parquet_test (
 id int,
 str string,
 mp MAP<STRING,STRING>,
 lst ARRAY<STRING>,
 strct STRUCT<A:STRING,B:STRING>) 
PARTITIONED BY (part string)
STORED AS PARQUET;

3.5 CSV (Hive-0.14 and later)

CREATE TABLE my_table(a string, b string, ...)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES (
   "separatorChar" = "\t",
   "quoteChar"     = "'",
   "escapeChar"    = "\\"
)  
STORED AS TEXTFILE;

3.6 JsonSerDe(Hive-0.12 and later)

/* Hive 0.12 - 3.0.0*/
ADD JAR /usr/lib/hive-hcatalog/lib/hive-hcatalog-core.jar;

CREATE TABLE my_table(a string, b bigint, ...)
ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'
STORED AS TEXTFILE;

/* Hive 3.0.0 and later */
CREATE TABLE my_table(a string, b bigint, ...)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.JsonSerDe'
STORED AS TEXTFILE;
--或者
CREATE TABLE my_table(a string, b bigint, ...) STORED AS JSONFILE;
稳哥的哥
关注
  • 0
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
关于spark配置项 和 hive serDe 和 spark serDe
yy的博客
12-04 730
spark
1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（一）
05-29
1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（一） 网址：https://blog.csdn.net/chenwewi520feng/article/details/130465139 本文通过在hdfs中三种不同数据格式文件存储相同数量的数据，通过hive和impala两种客户端查询进行比较。 本文前提：熟悉hadoop、hive和impala、kafka、flink等，并且其环境都可正常使用。（在后续的专栏中都会将对应的内容补全，目前已经完成了zookeeper和hadoop的部分。） 本文分为五个部分，即结论、三种文件介绍、需求、实现步骤、实现和网上别人的结论与验证。 由于本文太长，导致阅读可能比较麻烦，故一篇文章分为两篇，第一篇是准备数据，第二篇是查询比较。本文是第一篇。 本文接1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（二），比较的具体数据在第二篇。 ———————————————— 版权声明：本文为CSDN博主「一瓢一瓢的饮 alanchan」的原创文章，遵循CC 4.0
将Parquet文件的数据导入Hive 、JSON文件导入ES
coding and writing
05-31 1360
将Parquet文件的数据导入Hive
删除符合一定条件的若干行数据
ch206265的博客
10-13 1239
关键： #删除month字段中内容是'1/','2/','6/','7/','8/','9/','10','11','12'的行 data=data[~(data['month'].isin(['1/','2/','6/','7/','8/','9/','10','11','12']))] #仅删除字段名为month的一整列数据 data=data.drop(['month'],axis=1) import pandas as pd import numpy as np #导入数据 #data .
Spark DataFrame 写入HIve 出现HiveFileFormat`. It doesn't match the specified format `ParquetFileFormat`
lvwenyuan_1的博客
05-30 8836
场景 现在有一个需求，解析一个csv文件，然后写入hive已经存在的表中，就出现了这个错 org.apache.spark.sql.AnalysisException: The format of the existing table arcsoft_analysis.zz_table is `HiveFileFormat`. It doesn't match the specified fo...
0464-如何离线分析HDFS的FsImage查找集群小文件
Hadoop_SC的博客
01-28 405
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。 Fayson的github： https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1 文章编写目的 随着Hadoop集群数据量的增长，集群中也同时会存在大量的小文件，即文件Size比HDFS的Block Size（默认128MB）小的多的文件。H...
【数仓】数据存储格式的选择：Parquet与ORC
lsr40的博客
08-17 6642
大家好，我终于又出现了！ 这次要讲讲数据存储格式的选择！ 平时呢，我也会加一些有的没有的交流群，主要还是日常潜水看看里面有没有大佬！ 然后就遇到了一个问题：hadoop上存储的数据，要进行查询，用什么格式存储更好？ 我下意识的反应是ORC，因为ORC的压缩比更高（文件能压缩的更小），但是转念一想，ORC和Parquet都是列式存储的格式，两者之间有什么区别呢？或者说在最开始选择数据存储格式的时候，我们需要关注哪些点呢？ 这另我陷入了沉思，开始在网上收集相关信息！ 一、orc和parquet的区别
ORC与PARQUET的区别
weixin_44087159的博客
04-28 7451
ORC与Parquet均为列式存储结构，那么他们有什么不同呢？ Apache Parquet 源自google Dremel 系统,Parquet 相当一Dremel中的数据存储引擎,而Apache顶级开源醒目 Drill正式Dremel的开源实现. Apache Parquet 最初的设计动机是存储嵌套式数据,比如Protocolbuffer thrift json 等 将这类数据存储成列式格式以方便对其...
Hive底层文件存储类型parquet
resin_404的博客
06-09 4642
Hive作为数据仓库常用工具之一，在数据量级越来越大的时候，存储问题会暴露出来。那么在之前大部分为了省事方便都会以TextFile*作为存储类型，此类型比较占存储，并且查询效率并不是很高。为了节省集群的存储空间，研究了各种存储类型，网上各类帖子已经把这几类的优缺点和使用场景说的非常明确。我在这稍微提及一下，主要想分享我在使用sqoop抽取数据时进行文件类型转换（parquet）遇到的坑，共享出来希望遇到此问题的朋友借鉴，减少不必要时间消耗。* 一、概述一下各类文件类型的优缺点 1.TextFile 行存储，
1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（二）
05-29
1、通过亿级数据量在hive和impala中查询比较text、orc和parquet性能表现（二） 网址：https://blog.csdn.net/chenwewi520feng/article/details/130465463 本文通过在hdfs中三种不同数据格式文件存储相同数量的数据，...
Hive-JSON-Serde-1.3.8.zip
05-23
Hive-JSON-Serde-1.3.8.zip
haivvreo:蜂巢+ Avro。 Serde与Hive中的Avro合作
05-10
）是LinkedIn开发的Hive Serde，用于在Hive中处理Avro编码的数据。 Haivvreo的要点： 从Avro模式推断Hive表的模式。 利用Avro的向后兼容功能，根据指定的架构读取表中的所有Avro文件支持任意嵌套的架构。 将所有Avro...
hive2.1.1中orc格式读取报数组越界错误解决方法
05-24
hive2.1.1orc格式读取报数组越界错误，替换jar包。hive-exec-2.1.1-cdh6.3.2.jar、hive-orc-2.1.1-cdh6.3.2.jar。分发各个服务器即可。
hive对json数据处理的三种方式
m0_37135879的博客
12-18 6721
数据背景 hive (ods)> select * from jsont1; OK jsont1.username jsont1.age jsont1.sex jsont1.json user1 18 male {"id":1,"ids":[101,102,103],"total_number":3} user2 28 female {"id":2,"ids":[201,202,203],"total_number":3} user3 38 male {"id":3,"ids":[301,302,30
一文搞懂Hive的存储格式与压缩格式
zjjcchina的博客
10-27 1084
行存储与列存储 当今的数据处理大致可分为两大类，联机事务处理 OLTP(on-line transaction processing)联机分析处理 OLAP(On-Line Analytical Processing)=，OLTP 是传统关系型数据库的主要应用来执行一些基本的、日常的事务处理比如数据库记录的增、删、改、查等等而OLAP则是分布式数据库的主要应用它对实时性要求不高，但处理的数据量大通常应用于复杂的动态报表系统上 所以一般OLTP 都是使用行式存储的，因为实时性要求高，而且有大量的更...
Hive进阶篇」详解存储格式及压缩方式
thy822的专栏
08-07 984
hive优化除了有hql语句逻辑优化，hql参数调优等等，还有一个不起眼的细节容易被忽视掉，那便是hive数仓模型表的存储格式和压缩方式，hive底层数据是依托在hadoop，以HDFS文件存储在集群上的，hive数仓模型表选择一个合适的存储格式和压缩方式也是hive优化的一点。本篇就来聊一聊这块知识点吧。😄通过大纲提问式进行概览，你能通过文章学到什么：1. hive主要有几种存储格式&压缩方式2. 每种存储格式和压缩方式的细节3. 什么场景使用什么存储格式&压缩方式适场景而选定压缩方式。...
Hive的数据类型、文件格式、存储架构和HQL语法
笑出弧度的程序员的博客
10-21 485
Hive 数据类型和文件格式 一 概述 Hive支持关系型数据库中的大多数基本数据类型,同时也支持关系型数据库中很少出现的3种集合数据类型. 1、基本数据类型 Hive支持多种不同长度的整型和浮点型数据类型,支持布尔类型,也支持无长度限制的字符串类型. 数据类型 长度 例子 TINYINT 1byte 有符号整数 20 SMALLINT 2byte 有符号整数 20 INT 4byte 有符号整数 20 BIGINT 8by..
hive中的文件格式的简介
weixin_30243533的博客
04-21 235
【hive中的file_format】 SEQUENCEFILE：生产中绝对不会用，k-v格式，比源文本格式占用磁盘更多 TEXTFILE：生产中用的多，行式存储 RCFILE：生产中用的少，行列混合存储，OCR是他得升级版 ORC：生产中最常用，列式存储 PARQUET：生产中最常用，列式存储 AVRO：生产中几乎不用，不用考虑 JSONFILE：生产中几乎不用，不用考虑 I...
Spark on Hive Hive on Spark傻傻分不清？
shufangreal的博客
11-04 3876
Spark on Hive? Hive on Spark傻傻分不清？ 1 spark on hive Spark on hive，是spark计算引擎依托hive data source，spark 可以依托JDBC、File、Collection等数据源，hive只是spark集成的数据源之一；具体可以参考spark官方文档；我们可以在代码中配置enableHiveSupport来启用Hive数据源。这里是Spark集成Hive。 2 Hive on Spark Hive on Spark，显而易见，Hi
Hive import and create hive table is not compatible with importing into ParquetFile format using Kite
最新发布
06-01
这个问题可能是由于您在使用Kite将数据导入到Hive时指定了 ParquetFile 格式，但是创建的Hive表和导入的数据之间的结构不匹配所导致的。 要解决这个问题，您需要确保创建的Hive表与导入的数据结构相匹配。可以通过执行以下操作来检查Hive表结构： 1. 在Hive中使用`DESCRIBE`命令查看表结构，例如： ``` DESCRIBE mytable; ``` 2. 在Kite中使用`schema`命令查看数据集结构，例如： ``` kite schema dataset:file:/path/to/dataset ``` 确保两者之间的列名称、数据类型和顺序都是一致的。如果不一致，则需要修改Hive表结构或者重新导入数据以匹配Hive表结构。 另外，您可以考虑使用其他数据格式，例如 ORC 或 Avro，它们都是Hive所支持的格式，也可以通过Kite将数据导入到Hive中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值