hbase
hbase
小朋友,你是否有很多问号?
这个作者很懒,什么都没留下…
展开
-
Hbase 优化
1.查询优化1.设置Scan缓存设置查询缓存,定义一次交互从服务器端传输到客户端的行数,有效减少服务器端和客户端的交互scanner.setCaching(1000)2.在查询的时候显示指定列在定义查询的时候,指定某列,或者几列,能有效的减少网络传输量,在一定程度上提升查询性能scanner.addColumn(Bytes.toBytes(family),Bytes.toBytes(column))3.禁用块缓存scan扫描全表的时候会使用块缓存,Mapreduce读取全表.原创 2021-01-04 10:41:51 · 186 阅读 · 0 评论 -
mapreduce操作hbase多个输入表
List scans = new ArrayList(); Scan scan1 = new Scan(); //这里可以定义其他的filterscan1.setStartRow(firstRow1); scan1.setStopRow(lastRow1); scan1.setAttribute(Scan.SCAN_ATTRIBUTES_TABLE_NAME, table1原创 2016-09-08 20:10:16 · 1026 阅读 · 0 评论 -
region的拆分策略
Region 概念Region是表获取和分布的基本元素,由每个列族的一个Store组成。对象层级图如下:Table (HBase table) Region (Regionsfor the table) Store (Store per ColumnFamily for each Region for thetable原创 2016-09-08 20:10:19 · 760 阅读 · 0 评论 -
Hbase的简单原理
1、整体来讲,HBase运行在hadoop之上,除了hbase部分数据存储在自己的内存中,其他的数据都存储在磁盘上(hdfs上);2、从HBase自身的角度讲有四个重要的组件: ①.客户端client,通过客户端可以访问Hbase,进行数据读写 ②.zookeeper是一个非常核心的组件,存储了hbase一些重要的数据和信息。同时协调HBase中只存一个可用原创 2016-09-08 20:10:22 · 363 阅读 · 0 评论 -
Hbase基本概念
HBase简介Hadoop Database是一个高可靠性、高性能、面向列、可伸缩实时读写的分布式数据库,主要用来存储非结构化和半结构化的松散数据(列存nosql数据库)root表:保存mete表的信息,一条数据对应一个meta分区(表名,meta表各分区的位置,meta表分区的范围)meta表:保存region的信息,一条数据对应一个region(表名,region的位置,reg原创 2016-09-08 20:10:24 · 615 阅读 · 0 评论 -
hbase bulkload 实例
本项目在windows环境下,访问远程linux实现代码逻辑相对简单 就是一个wordcount所以没有写注释package demo8_hbasebulkload;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.原创 2016-09-08 20:26:05 · 601 阅读 · 0 评论