hbase
彬正L
这个作者很懒,什么都没留下…
展开
-
Hbase Shell
根据某列查询:scan 'flightdata:user_tag', {COLUMNS=> 'f:dom_last_1_year_hotel_order_num'}根据某列值查询:get 'flightdata:user_tag','0bebhkmol0436','f:dom_last_1_year_hotel_order_num'原创 2021-01-21 20:09:41 · 161 阅读 · 0 评论 -
单机版hbase部署
1.hbase-env.shexport HBASE_MANAGES_ZK=false -- 不用自带的zookeeperexport HBASE_PID_DIR=/home/hadoop/software/hbase/data/pids -- Hmaster id的保存地址2.hbase-site.sh<property> <name>hbase.rootdir</name> <...原创 2020-10-12 09:59:51 · 359 阅读 · 2 评论 -
Hbase原理、基本概念、基本架构
概述 HBase是一个构建在HDFS上的分布式列存储系统;HBase是基于Google BigTable模型开发的,典型的key/value系统;HBase是Apache Hadoop生态系统中的重要一员,主要用于海量结构化数据存储;从逻辑上讲,HBase将数据按照表、行和列进行存储。与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算和存储...转载 2018-09-05 10:44:27 · 122 阅读 · 0 评论 -
深入理解HBase的系统架构
HBase的构成物理上来说,HBase是由三种类型的服务器以主从模式构成的。这三种服务器分别是:Region server,HBase HMaster,ZooKeeper。其中Region server负责数据的读写服务。用户通过沟通Region server来实现对数据的访问。HBase HMaster负责Region的分配及数据库的创建和删除等操作。ZooKeeper作为HDF...转载 2018-09-05 14:00:45 · 138 阅读 · 0 评论 -
浅析HBase:为高效的可扩展大规模分布式系统而生
什么是HBaseApache HBase是运行在Hadoop集群上的数据库。为了实现更好的可扩展性(scalability),HBase放松了对ACID(数据库的原子性,一致性,隔离性和持久性)的要求。因此HBase并不是一个传统的关系型数据库。另外,与关系型数据库不同的是,存储在HBase中的数据也不需要遵守某种严格的集合格式,这使得HBase是用来存储结构不严格的数据的理想工具。HBa...转载 2018-09-05 14:07:39 · 472 阅读 · 0 评论 -
【HBase调优】Hbase万亿级存储性能优化总结
背景:HBase主集群在生产环境已稳定运行有1年半时间,最大的单表region数已达7200多个,每天新增入库量就有百亿条,对HBase的认识经历了懵懂到熟的过程。为了应对业务数据的压力,HBase入库也由最初的单机多线程升级为有容灾机制的分布式入库,为及早发现集群中的问题,还开发了一套对HBase集群服务和应用全面监控的报警系统。总结下HBase优化(针对0.94版本)方面的一些经验也算对这两年...转载 2018-12-10 11:34:20 · 133 阅读 · 0 评论 -
HBase BlockCache机制讲解&源码分析
HBase上RegionServer的cache主要分为两个部分,分别是memstore&blockcache,其中memstore主要用于写缓存,而blockcache用于读缓存。当数据写入hbase时,会先写入memstore,RegionServer会给每个region提供一个memstore,memstore中的数据达到系统设置的水位值后,会触发flush将memstore中的...转载 2018-12-10 11:35:24 · 198 阅读 · 0 评论 -
hbase 程序优化 参数调整方法
hbase读数据用scan,读数据加速的配置参数为:Scan scan = new Scan();scan.setCaching(500); // 1 is the default in Scan, which will be bad for MapReduce jobsscan.setCacheBlocks(false); // don't set to true for...转载 2018-12-10 14:12:25 · 779 阅读 · 0 评论