hbase性能调优

背景:Hbase主集群在生产环境已稳定运行有1年半时间,最大的单表region数已达7200多个,每天新增入库量就有百亿条,对HBase的认识经历了懵懂到熟的过程。为了应对业务数据的压力,HBase入库也由最初的单机多线程升级为有容灾机制的分布式入库,为及早发现集群中的问题,还开发了一套对HBas...

2017-04-24 01:10:12

阅读数 195

评论数 0

如何用Hive 往HBase里面插入大量的数据

当我们用HBase 存储实时数据的时候, 如果要做一些数据分析方面的操作, 就比较困难了, 要写MapReduce Job。 Hive 主要是用来做数据分析的数据仓库,支持标准SQL 查询, 做数据分析很是方便,于是便很自然地想到用Hive来载入HBase的数据做分析, 但是很奇怪地是, 上网查了...

2017-03-29 15:53:29

阅读数 822

评论数 0

hbase数据删除不释放region解决办法

删除数据的驱动:        由于说需要做数据挖掘,不让删除数据,就一直没有删除数据,总共10T产的占用了8-9T了,服务器天天报警,大半夜起来解决问题,真心受不了发火,就算需要做数据挖掘,也不需这样做啊,可以存加工的数据啊,也不会全部把数据存在,还有公司是不允许我们加服务器的抓狂。 删...

2017-03-05 18:43:01

阅读数 1688

评论数 0

hbase系统入门篇

1-HBase的安装 HBase是什么? HBase是Apache Hadoop中的一个子项目,Hbase依托于Hadoop的HDFS作为最基本存储基础单元,通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法...

2017-03-05 18:30:16

阅读数 221

评论数 0

hbase怎么查看一个region的大小

通过hadoop命令hadoop fs -du /hbase/your_table

2017-03-05 17:28:37

阅读数 4020

评论数 0

hbase rowkey设计

本帖最后由 pig2 于 2014-3-13 23:21 编辑 访问hbase table中的行,只有三种方式: 1 通过单个row key访问 2 通过row key的range 3 全表扫描 文中可能涉及到的API: Hadoop/HDFS:http:/...

2017-03-05 17:23:39

阅读数 207

评论数 0

hbase基础知识及原理

HBase简介:          HBase在产品中还包含了Jetty,在HBase启动时采用嵌入式的方式来启动Jetty,因此可以通过web界面对HBase进行管理和查看当前运行的一些状态,非常轻巧。 简单来说,你在HBase中的表创建的可以看做是一张很大的表,而这个表的属性可以根据需...

2017-03-05 17:21:51

阅读数 391

评论数 0

实时分析系统以及hbase、hive和impala的区别

1. 什么是实时分析(在线查询)系统? 大数据领域里面,实时分析(在线查询)系统是最常见的一种场景,通常用于客户投诉处理,实时数据分析,在线查询等等过。因为是查询应用,通常有以下特点: a. 时延低(秒级别)。 b. 查询条件复杂(多个维度,维度不固定),有简单(带有ID)。 c. 查询范...

2017-02-26 00:19:29

阅读数 1691

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭