目录
压缩和存储
Hadoop压缩配置
MR支持的压缩编码
压缩格式 | 算法 | 文件扩展名 | 是否可切分 |
gzip | DEFLATE | .gz | 否 |
snappy | snappy | .snappy | 否 |
DEFLATE | DEFLATE | .deflate | 否 |
bzip2 | bzip2 | .bz2 | 是 |
LZO | lzo | .lzo | 是 |
Hadoop的编码/解码器
压缩格式 | 对应的编码/解码器 |
gzip | org.apache.hadoop.io.compress.GzipCodec |
snappy | org.apache.hadoop.io.compress.SnappyCodec |
DEFLATE | org.apache.hadoop.io.compress.DefaultCodec |
bzip2 | org.apache.hadoop.io.compress.Bzip2Codec |
LZO | com.hadoop/compress.lzo.LzopCodec |
压缩性能的比较
压缩算法 | 源文件大小 | 压缩文件大小 | 压缩速度 | 解压速度 |
gzip | 8.3g | 1.8g | 17.5MB/s | 58MB/s |
bzip2 | 8.3g | 1.1g | 2.4MB/s | 9.5MB/s |
LZO | 8.3g | 2.9g | 29.3MB/s | 74.6MB/s |
注:Snappy的压缩速度和解压速度都非常快。
压缩参数配置
在mapred-site.xml中配置压缩参数才可以在Hadoop中使用压缩。
参数 | 默认值 | 阶段 | 建议 |
io.compression.codecs
(在
core-site.xml
中配置)
|
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.Lz4Codec
|
输入压缩
|
Hadoop
使用文件扩展名判断是否支持某种编解码器
|
mapreduce.map.output.com
press
|
false
|
mapper
输出
|
设为
true
启用压缩
|
mapreduce.map.output.com
press.codec
|
org.apache.hadoop.io.compress.DefaultCodec
|
mapper
|
使用
LZO
、
LZ4
或snappy编解码器在此
阶段压缩数据
|
mapreduce.output.fileoutput
format.compress
|
false
|
reducer
输出
|
设为
true
启用压缩
|
mapreduce.output.fileoutput
format.compress.codec
|
org.apache.hadoop.io.compress. DefaultCodec
|
reducer
输出
|
使用标准工具或者编解码器,如gzip
|
mapreduce.output.fileoutput
format.compress.type
|
RECORD
|
reducer
输出
|
SequenceFile
输出使用的压缩类型:NONE和BLOCK
|
开启Map输出阶段压缩(MR引擎)
开启map输出阶段压缩可以减 job中map和Reduce task间数据传输量。
(1)开启hive中间传输数据压缩功能
set hive.exec.compress.intermediate=true;
(2)开启MapReduce中map输出压缩功能
>set mapreduce.map.output.compress=true;
(3)设置MapReduce中map输出数据的压缩方式
set mapreduce.map.output.compress.codec=com.hadoop/compress.lzo.LzopCodec;
(4)执行查询
select count(name) name from emp;
开启reduce输出阶段压缩
当Hive将输出写入到表中时 , 输出内容可以进行压缩,属性hive.exec.compress.output控制着这个功能。用户保持默认设置中的默认值false,输出的就是非压缩的纯文本文件。用户可以通过在查询语句或执行脚本中设置这个值为true来开启输出结果压缩功能。
(1)开启hive最终输出数据压缩功能
set hive.exec.compress.output=true;
(2)开启MapReduce最终输出数据压缩
>set mapreduce.output.fileoutputformat.compress=true;
(3)设置MapReduce最终输出数据压缩方式
set mapreduce.output.fileoutputformat.compress.codec =
com.hadoop/compress.lzo.LzopCodec;
(4)设置MapReduce最终数据输出压缩为块压缩
set mapreduce.output.fileoutputformat.compress.type=BLOCK;
(5)测试
insert overwrite local directory 'root/datas/distribute-result'
select * from emp distribute by deptno sort by empno desc;
文件存储格式
Hive支持的存储数据的格式主要有:TEXTFILE 、SEQUENCEFILE、ORC、PARQUET。
列式存储和行式存储
上图展示出列式存储和行式存储的区别
(1)行存储的特点
查询满足条件的一整行数据时,列存储需要去每个聚集的字段找到对应的每个列的值,行存储只需找到其中一个值,其余的值都在相邻地方,此时行存储查询的速度更快。
(2)列存储的特点
查询只需要少数几个字段时,能大大减少读取的数据量;每个字段的数据类型一定是相同的,列式存储可以针对性的设计更好的压缩算法。
TEXTFILE、SEQUENCEFILE是基于行存储的;(textfile、sequencefile)
ORC、PARQUET是基于列式存储的;(orc、parquet)
TextFile
默认格式,数据不做压缩,磁盘开销大,数据解析开销大。可结合Gzip、Bzip2、lzo使用, 但使用Gzip这种方式hive不会对数据进行切分,从而无法对数据进行并行操作。
Parquet
Parquet文件是以二进制方式存储的,所以是不可以直接读取的;文件中包括该文件的数据和元数据,因此Parquet格式文件是自解析的。
(1)行组(Row Group):每一个行组包含一定的行数,在一个HDFS文件中至少存储一个行组,类似于orc的stripe的概念。
(2)列块(Column Chunk):在一个行组中每一列保存在一个列块中,行组中的所有列连续的存储在这个行组文件中。一个列块中的值都是相同类型的,不同的列块可能使用不同的算法进行压缩。
(3)页(Page):每一个列块划分为多个页,一个页是最小的编码单位,在同一个列块的不同页可能使用不同的编码方式。
通常情况下,在存储Parquet数据的时候会按照Block大小设置行组的大小,由于一般情况下每一个Mapper任务处理数据的最小单位是Block,这样可以由一个Mapper任务处理一个行组,增大任务执行并行度。
文件的格式
一个文件中可以存储多个行组,文件的首位都是该文件的Magic Code,用于校验它是否是一个Parquet文件;Footer length记录了文件元数据的大小,通过该值和文件长度可以计算出元数据的偏移量;文件的元数据中包括每一个行组的元数据信息和该文件存储数据的Schema信息。
除了文件中每一个行组的元数据,每一 页的开始都会存储该页的元数据,在Parquet中,有三种类型的页:数据页、字典页和索引页。
数据页用于存储当前行组中该列的值;
字典页存储该列值的编码字典,每一个列块中最多包含一个字典页;
索引页用来存储当前行组下该列的索引;
Orc
Orc:Optimized Row Columnar
orc是Hive 0.11版里引入的新的存储格式;
每个Orc文件由1个或多个stripe组成,每个stripe一般为HDFS的块大小,每一个stripe包含多条记录,这些记录按照列进行独立存储,对应到Parquet中的row group的概念。每个Stripe里分别由Index Data,Row Data,Stripe Footer三部分组成。
每个文件有一个File Footer,这里面存的是每个Stripe的行数,每个Column的数据类型信息等;每个文件的尾部是一个PostScript,这里面记录了整个文件的压缩类型以及FileFooter的长度信息等。在读取文件时,会seek到文件尾部读PostScript,从里面解析到File Footer长度,再读FileFooter,从里面解析到各个Stripe信息,再读各个Stripe,即从后往前读。
1)Index Data:一个轻量级的index,默认是每隔1W行做一个索引。这里做的索引只是记录某行的各字段在Row Data中的offset。
2)Row Data:具体的数据,先取部分行,然后对这些行按列进行存储。对每个列进行了编码,分成多个Stream来存储。
3)Stripe Footer:各个Stream的类型,长度等信息。
存储和压缩结合
在实际的项目开发当中,hive表的数据存储格式一般为:orc、parquet;
压缩方式一般为:snappy、lzo。
测试存储和压缩
(1)snappy压缩的orc格式
1)建表
create table orc_snappy(
......
)
row format delimited fields terminated by '\t'
stored as orc
tblproperties("orc.compress"="SNAPPY");
2)插入数据
load data local inpath "/root/.../text.txt";
3)查看数据
dfs -du -h /user/hive/warehouse/.../;
(2)zlib压缩的orc格式
1)建表
create table orc_zlib(
......
)
row format delimited fields terminated by '\t'
stored as orc
tblproperties("orc.compress"="ZLIB");
2)插入数据
load data local inpath "/root/.../text.txt";
3)查看数据
dfs -du -h /user/hive/warehouse/.../;
(3)snappy压缩的parquet格式
1)建表
create table parquet_snappy(
…………
)
row format delimited fields terminated by '\t'
stored as parquet
tblproperties("parquet.compression"="SNAPPY");
2)插入数据
load data local inpath "/root/.../text.txt";
3)查看数据
dfs -du -h /user/hive/warehouse/.../;
本文为学习笔记!!!