Hbase
清风千雨
大数据,java后端
展开
-
Hbase安装部署
集群配置: zk集群3台 hadoop集群3台 hbase集群3台 1)上传 hbase-1.3.0-bin.tar.gz 2)解压 3)修改配置信息 JAVA_HOME= ZK= hbase-site.xml 加入配置信息 <!-- 设置namenode所在位置 通过rootdir设置 也就是设置hdfs中存放的路径 --> <property&am原创 2018-12-01 15:49:15 · 155 阅读 · 0 评论 -
Hbase架构以及原理
HRegionServer存储数据的地方 HRegion可以看做表,其中Store为一个存储单元,MemStore是一个内存区域 StoreFile是一个文件,而HFile是它的实体 Hlog:记录操作信息,保证数据完整性 主要是用Hbase调用hdfs客户端,把HFile保存到Hdfs当中 查数据的时候 Client获得Zookeeper获得的元数据,然后去指定的HRegionServer中的...原创 2018-12-01 16:41:02 · 513 阅读 · 0 评论 -
Hbase API
public class HbaseTest { //注意要配host,我第一次没配出现了RetriesExhaustedException: Can't get the locations public static Configuration conf; //获取配置信息 static { conf = HBaseConfiguration.c...原创 2018-12-10 17:21:19 · 159 阅读 · 0 评论 -
Hbase shell命令
1)创建表 create ‘表名’,‘列族’ 2)全表扫描 scan ‘表名’ rowkey:行键:唯一 不重复 timestamp:时间戳 cell:单元格 数据存放位置 column familly:列族,列族下包含多个列 column:列 3)向表中插入数据 put ‘表名’,‘rowkey’,‘列族:列名’,‘值’ 4)覆盖数据 在hbase中没有修改,但是可以覆盖只要保持rowkey,列...原创 2018-12-10 17:31:49 · 149 阅读 · 0 评论 -
Hbase -MR
需求1:对一张表的rowkey进行计数 通过yarn调用hbase/lib下给我们提供的rowcounter程序 1)查看包 在hbase/bin/hbase mapredcp 可查看需要的包 2)导包 export HBASE_HOME=/opt/hbase export HADOOP_HOME=/opt/hadoop export HADOOP_CLASSPATH = `${HBASE_HOM...原创 2018-12-10 22:17:04 · 283 阅读 · 0 评论 -
Hbase分区键(预设分区)
设置分区 private static byte[][] genSplitKeys(int regions) { //存放分区键的数组 String[] keys = new String[regions]; //格式化分区键的形式 00| 01| 02| DecimalFormat df = new DecimalFormat("...原创 2019-02-19 21:26:00 · 1186 阅读 · 0 评论 -
我的项目中设计的RowKey
public static String genRegionCode(String caller, String buildTime, int regions) { int len = caller.length(); //取出主叫后四位 String lastPhone = caller.substring(len - 4); //...原创 2019-02-19 21:27:29 · 347 阅读 · 0 评论