hbase
lemon lime
放弃很简单,但坚持一定很酷!
展开
-
HBase—表结构
HBase—表结构一,高表与宽表的选择高表:很多行较少列,即行多列少,一行中的数据量较少,行数大。宽表:很多列较少行,即列多行少,一行中的数据量较大,行数少。HBase的 Row Key是分布式的索引,也是分片的依据。hbase的row key + column family + column qualifier + timestamp + value是HFile中数据排列依据。HF...原创 2019-01-17 22:56:08 · 597 阅读 · 0 评论 -
HBase性能优化
HBase性能优化一,表的设计1.1 pre-Createing Regions关于预分区,点击链接–>1.2 Row KeyHBase中row key 用来检索表中的记录,支持以下三种方式:---- 通过单个 row key访问:即按照某个row key键值进行 get操作。---- 通过 row key的 range进行 scan:即通过设置startRowKey和s...原创 2019-01-17 22:56:55 · 551 阅读 · 0 评论 -
HBase预分区
HBase预分区HBase预分区针对海量导入数据时的热点问题 在创建HBase表的时候默认一张表只有一个region,所有的put操作都会向这一个region中导入数据,当这一个region过大达到阀值时就会进行spilt。如果在创建表的时候就进行预分区则会减少数据量猛增时由于 region spilt带来的资源消耗。 HBase表的预分区需要紧密结合业务场景来选择分区的 row Key...原创 2019-01-17 22:57:43 · 567 阅读 · 0 评论 -
MapReduce输出结果导入HBase
MapReduce输出结果导入HBase这里以wordCount为例简单介绍下,代码实现MapReduce计算完数据导入到HBase中Job.javapackage com.shsxt.mapre.tohbase;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apa...原创 2019-01-17 22:58:27 · 1075 阅读 · 0 评论 -
Hbase入门(上)
Hbase入门(上)简介:HBase–Hadoop Database,是一个高可靠性,高性能,面向列,可伸缩,实时读写的分布式数据库。 在Hadoop生态圈,它是其中一部分且利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理Hbase中的海量数据。利用Zookeeper作为其分布式协同服务,主要用来存储非结构化和半结构化的松散数据(NoSql非关系型数...原创 2019-01-15 22:52:41 · 187 阅读 · 0 评论