hbase
wangfutai91
钩深索隐,卓荦为杰。
展开
-
hive和hbase数据相互关联
一.使用hive获取,HBASE中数据1.create 'hadoop:hbase_hive_human','info'2.造数put 'hadoop:hbase_hive_human','1','info:id','1'put 'hadoop:hbase_hive_human','1','info:name','wang'put 'hadoop:hbase_hive_human','...原创 2019-01-10 14:47:31 · 487 阅读 · 0 评论 -
Hbase的wal机制
简介hbase是基于LSM树的存储系统,它使用日志文件和内存存储来的存储架构将随机写转换成顺序写,以此保证稳定的数据插入速率。而这里说的日志文件即是wal文件,用于在服务器崩溃后回滚还没持久化的数据。WAL(Write-Ahead-Log)预写日志是Hbase的RegionServer在处理数据插入和删除的过程中用来记录操作内容的一种日志。在每次Put、Delete等一条记录时,首先将...原创 2019-01-16 14:14:25 · 1638 阅读 · 0 评论 -
HBase之HFile详解
HFile是HBase存储数据的文件组织形式。HFile经历了三个版本,其中V2在0.92引入,V3在0.98引入。HFileV1版本的在实际使用过程中发现它占用内存多,HFile V2版本针对此进行了优化,HFile V3版本基本和V2版本相同,只是在cell层面添加了Tag数组的支持。 一 HFile 文件结构从以上图片可以看出HFile主要分为四个部分:Scanned B...转载 2019-01-16 13:53:00 · 1297 阅读 · 0 评论 -
HBase Rowkey设计原则
HBase由于其存储和读写的高性能,在OLAP及时分析中发挥重要作用,HBase的查询只能通过rowkey来查询(rowkey便表示唯一一行记录)rowkey设计的优劣直接影响读写性能。HBase中的数据是按照rowkey的ASCII字典书序来进行全局排序举例:假如有5个RowKey:”012“,"0","123","234","3",按ASCII字典排序后的结果为:"0", "012&qu转载 2019-01-16 13:50:59 · 692 阅读 · 0 评论 -
hbase 和 hive 关联表
hive 创建 关联hbase表有2种形式:第一种:hive> create table hive(id string,name string, age int)> stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'> with serdeproperties ("hbase.columns.mapp...转载 2019-01-10 10:02:50 · 331 阅读 · 0 评论 -
hbase 参考列过滤器
1.代码测试数据:package hbase.hbasseAPI.Filter;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.TableName;import org.apache.hadoop.hbase.client.*;import org.apache.hadoo...原创 2019-01-15 12:53:22 · 321 阅读 · 0 评论 -
HBASE基础命令
三.基本命令1.命名空间--区分大小写(1)创建命名空间 create_namespace 'hadoop'创建一个命名空间,并且指定属性create_namespace 'ns1', {‘key1'=>'value2’}注意:1)hbase中没有进入到某一个namespace概念,操作表格,一律带上namespace名称,否则就默认从default这个namespace中找...原创 2019-01-09 18:28:54 · 275 阅读 · 0 评论 -
mysql-hive-hbase数据之间的传递-sqoop
1.将mysql数据导入hivea.普通表创建hive表格 CREATE TABLE hive.mysql_to_hive ( id INT, name STRING, age INT ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; sqoop import \ --connect ...原创 2019-01-25 10:43:25 · 215 阅读 · 0 评论 -
HBase--通过Java API与HBase交互(增删改)
import java.io.IOException; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hadoo...转载 2019-01-14 10:42:29 · 131 阅读 · 0 评论 -
从hbase到hbase数据传输
1.mappackage mr.hdfstoHbase.HbaseTOHbase;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.client.Result;import org.apache.hadoop.hbase.io.ImmutableBytesWritable;import org.ap...原创 2019-01-11 17:48:14 · 333 阅读 · 0 评论 -
从Hbase传输数据到Hdfs
1.自定义一个类package mr.hdfstoHbase.HbaseToHdfsMapper;import org.apache.hadoop.io.Writable;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import java.util.Objects;...原创 2019-01-11 17:43:26 · 1285 阅读 · 0 评论 -
从hdfs中插入数据到hbase中
package mr.hdfstoHbase;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase.TableName;import org.apache.hadoop.hbase.client.*;import org.a...原创 2019-01-11 17:40:08 · 1490 阅读 · 0 评论 -
hbaseAPI DML数据增删改
public static void main(String[] args) throws IOException { System.setProperty("hadoop.home.dir", "D:\\hadoop-2.6.0-cdh5.15.0"); Configuration conf = new Configuration(); ...原创 2019-01-10 19:39:52 · 137 阅读 · 0 评论 -
hbaseAPI 针对表操作 ddl
public static void main(String[] args) throws IOException { System.setProperty("hadoop.home.dir", "D:\\hadoop-2.6.0-cdh5.15.0"); Configuration conf = new Configuration(); ...原创 2019-01-10 19:38:21 · 273 阅读 · 0 评论 -
hbaseAPI 命名空间
public static void main(String[] args) throws IOException { System.setProperty("hadoop.home.dir", "D:\\hadoop-2.6.0-cdh5.15.0"); //1.设置 // zookeeper.znode.parent /hb...原创 2019-01-10 19:36:48 · 849 阅读 · 0 评论 -
hbaseAPI中 rowkey使用整数表示的结果
// rowkey设置为整形1~31 转换为了16进制表示32~126转换为ASCII码的字符表示(包括32和126)127以后按照16进制表示(包括127)代码: public static void main(String[] args) throws IOException { System.setProperty("hadoop.home.dir",...原创 2019-01-10 15:42:06 · 519 阅读 · 0 评论 -
深入学习HBase架构原理
HBase定义 HBase 是一个高可靠、高性能、面向列、可伸缩的分布式存储系统,利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。 HBase 是Google Bigtable 的开源实现,与Google Bigtable 利用GFS作为其文件存储系统类似, HBase 利用Hadoop HDFS 作为其文件存储系统;Google 运行MapR...转载 2019-01-16 19:55:31 · 103 阅读 · 0 评论