hbase
记录点滴人生
这个作者很懒,什么都没留下…
展开
-
Hbase shell 常用命令
下面我们看看HBase Shell的一些基本操作命令,我列出了几个常用的HBase Shell命令,如下:名称命令表达式创建表create '表名称', '列名称1','列名称2','列名称N'添加记录 put '表名称', '行名称', '列名称:', '值'查看记录转载 2014-08-06 16:29:46 · 495 阅读 · 0 评论 -
Hbase根据rowkey利用scan查询
1.rowkey以某个内容开头Filter filtet = new PrefixFilter("ooo".getBytes());2.rowkey字符串包含方式Filter filter = new RowFilter(CompareOp.EQUAL,new SubstringComparator("xxx"));3.rowkey匹配正则方式F原创 2015-04-21 16:07:46 · 7743 阅读 · 0 评论 -
HBase写数据过程
【编者按】毋庸置疑,Hadoop已成为当下最流行的大数据处理平台,让机构可以用更低廉的价格对海量数据进行深度挖掘,同时,在YARN出现后,其生态圈也愈加繁荣;然而,Hadoop原生数据库HBase却因众多问题饱受诟病,比如部署难、以Java为中心等工程问题,以及故障转移、面向主从设计的架构问题,这直接导致了HBase人气甚至不如同为列存储类型的Cassandra。幸运的是,在我们之前有很多先行者对转载 2015-12-10 17:23:54 · 478 阅读 · 0 评论 -
HBase写数据过程
博文说明:1、研究版本HBase 0.94.12;2、贴出的源代码可能会有删减,只保留关键的代码。从client和server两个方面探讨HBase的写数据过程。一、client端1、写数据API写数据主要是HTable的单条写和批量写两个API,源码如下://单条写APIpublic void put(final Put put) throws IOExc转载 2015-12-25 14:37:27 · 588 阅读 · 0 评论 -
hbase的预分配region
在create一个表时如果不指定预分配region,则默认会先分配一个region,这样在大数据并行载入时性能比较低,因为所有的数据都往一个region灌入,容易引起单节点负载升高,从而影响入库性能,一个好的方法时在建立表时预先分配数个region。方法有两种,主要针对不同版本可供选择。1.使用RegionSplitter方法,主要针对hbase-0.90.X版本a.首先使用Reg转载 2016-03-11 11:59:49 · 1541 阅读 · 0 评论 -
Hbase 导入导出
导入> hbase org.apache.hadoop.hbase.mapreduce.Driver import ${tableName} ${Location}对于目录位置,支持集群和本地集群 hdfs://master:8020/user/hbase/backup本地文件 file:///home/hbase/backup导出> hbase org.apache.hadoop.hb原创 2016-11-30 20:40:33 · 712 阅读 · 0 评论 -
HBase在线系统性能优化
一、手工进行Major Compaction实时系统最好关闭HBase的自动Major Compaction,HBase在进行Major Compaction时会合并所有的存储文件,整个Region都不可用。HBase默认大约每天执行一次Compaction,最好把自动Compaction禁用,采用crontab在闲时触发执行。修改HBase配置: hbase.hre转载 2017-05-04 15:49:16 · 2550 阅读 · 0 评论 -
hbase性能调优
hbase性能调优一、服务端调优 1、参数配置 1)、hbase.regionserver.handler.count:该设置决定了处理RPC的线程数量,默认值是10,通常可以调大,比如:150,当请求内容很大(上MB,比如大的put、使用缓存的scans)的时候,如果该值设置过大则会占用过多的内存,导致频繁的GC,或者出现OutOfMemory,因此该值不是越转载 2017-07-18 14:58:06 · 635 阅读 · 0 评论