Hbase压缩文件

原创 2018年04月15日 23:29:52

首先来点Hbase常用命令:

查看所有表:list
查看表结构 describe 'stu'

统计条数:
count 'stu', INTERVAL => 100000
hbase   org.apache.hadoop.hbase.mapreduce.RowCounter 'stu'

清空表:truncate 'stu'

删除表:
disable 'int_s6a'
drop 'int_s6a'
exists 'int_s6a'	验证表是否存在

用正则表达式删表
disable_all 'int_*'
drop_all 'int_*'

disable 'IDX_STU'
drop 'IDX_STU'
exists 'IDX_STU'

我使用的是Hbase1.24,默认有三种文件存储格式NONE 、GZ、 LZ4

hbase表默认存储位置在hdfs:///hbase/data/default

查看表未压缩的文件大小:

hdfs dfs -du -h /hbase/data/default
298.5 M  298.5 M  /hbase/data/default/stu

修改压缩格式:

1.	disable 'stu'	
2.	alter 'stu', NAME => 'cf1', COMPRESSION => 'snappy'	需要手动安装snappy
	alter 'stu', NAME => 'cf1', COMPRESSION => 'LZO'	需要手动安装lzo
	
	NONE GZ LZ4可以使用,随便选一个压缩算法执行
	alter 'stu', NAME => 'cf1', COMPRESSION => 'NONE'
	alter 'stu', NAME => 'cf2', COMPRESSION => 'NONE'
	
	alter 'stu', NAME => 'cf1', COMPRESSION => 'gz'
	alter 'stu', NAME => 'cf2', COMPRESSION => 'gz'	
	
	alter 'stu', NAME => 'cf1', COMPRESSION => 'LZ4'
	alter 'stu', NAME => 'cf2', COMPRESSION => 'LZ4'
        注意:列簇名必须是已经存在的且要写正确,否则会新建一个列簇
3.	enable 'stu'	enable表后,HBase表的压缩格式并没有生效,还需要一个动作
4.	major_compact 'stu'
5.	describe 'stu'	查看压缩格式是否修改成功
只需要这5步之后可完成压缩,stu表压缩之后只有162.4 M

而且经过测试:

NONE GZ LZ4三者中LZ4算法最好,可以节省空间和提高速度

最后提一句:如果使用Phoenix创建索引(索引本质也是一张表),也可以执行压缩格式可以节省空间和提高速度:

phoenix sql创建压缩索引表:

create index "idx_stu" on "stu"("cf1"."name") compression='LZ4'; 

----end---


版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/sinadrew/article/details/79954995

HBase压缩

Hbase有两种压缩 策略:minor和major。Minor compactions通常选择几个临近的小的storefiles把他们重写成一个。Minors 不会丢掉已删除或者过期的cells,只有...
  • yueyedeai
  • yueyedeai
  • 2013-11-09 16:06:16
  • 1575

hbase读取文件入库方案

入库方案初稿 一、采集文件 采用shell脚本,从话单存放机器通过ftp分别get到四台服务器上(可按四台机器的处理速度比例存放) 二、读取文件 有两种方案,一是四台服务器分别启动各自的shell...
  • ouyida3
  • ouyida3
  • 2014-11-03 09:54:04
  • 649

HBase提供的工具

1 .压缩测试工具   hbase org.apache.hadoop.hbase.util.CompressionTest   1G数据不同的压缩算法得到的结果 +-----------------...
  • yueyedeai
  • yueyedeai
  • 2013-12-29 03:47:17
  • 1775

通过MapReduce程序导出Hbase到Hadoop

1、编写程序。 package chan.takchi.mr; import java.io.IOException; import org.apache.hadoop.conf.Configur...
  • i792439187
  • i792439187
  • 2017-01-23 15:55:38
  • 429

【转】hbase导出工具Export介绍

博客地址:http://www.oratea.net hbase-0.94.0有效,HBase权威指南上的介绍过时。   可以通过Export工具将hbase中的表的数据导到hh...
  • damacheng
  • damacheng
  • 2015-01-04 16:15:21
  • 887

hbase import & export

对于两个hadoop集群(生产环境和测试环境),想讲两个hbase表同步或者迁移,更保守的方式使用hbase自带的import & exportexport 语法为: bin/hbase org.ap...
  • stark_summer
  • stark_summer
  • 2015-10-12 19:25:15
  • 12959

HBase实战-HBase.in.Action中文版

  • 2018年04月07日 22:56
  • 42.55MB
  • 下载

HBase企业应用开发实战.part1

  • 2015年06月22日 06:23
  • 50MB
  • 下载

hbase export 使用小技巧

在工作中经常使用hbase的export功能来导出数据,在此总结几种小技巧: 建议导出的数据先放到hdfs上,再从hdfs上拿下来 之前经常使用如下命令进行数据备份: hbase org.apache...
  • wzg0312
  • wzg0312
  • 2014-12-03 10:03:25
  • 1838

hbase安装文件及步骤,大数据等资料

  • 2017年12月29日 06:58
  • 38B
  • 下载
收藏助手
不良信息举报
您举报文章:Hbase压缩文件
举报原因:
原因补充:

(最多只允许输入30个字)