Hbase
三生三世
程序猿与汪
一枚专注于大数据领域知识的程序汪
展开
-
智慧出行/HBase-实现创建hbase表,和向hbase插入数据
package com.cartravel.hbaseimport com.cartravel.loggings.Loggingimport org.apache.hadoop.hbase.{HColumnDescriptor, HTableDescriptor, TableName}import org.apache.hadoop.hbase.client.{Connection, Put, TableDescriptorBuilder}import org.apache.hadoop.hbas原创 2020-07-15 22:31:19 · 269 阅读 · 0 评论 -
智慧出行/HBase-一劳永逸解决Hbase数据热点问题:2rowkey负载均衡设计
1.hbase热点问题是什么?数据倾斜到一个节点,其余节点空转2.出现haase热点的原因是什么?出现haase热点情况一定是这两个原因:rowkey设计太low没有做预分区3.设计hbase经验rowkey设计原则:唯一,如果不唯一数据就会被覆盖,2散列的,防止出现hbase热点问题,3,字典rowkey长度设计2的整数倍16,32,64,最长不超过64位.只有这样才可以使用高速缓存,如果不是这些,不能被64整除,就只能使用主机内存,那是比较慢的(最快是寄存器,其次是高速缓存,再往后是原创 2020-07-15 22:12:40 · 218 阅读 · 0 评论 -
智慧出行/HBase-一劳永逸解决Hbase数据热点问题:1.java实现HBase建表并且预分区
啊啊啊原创 2020-07-15 17:17:23 · 384 阅读 · 0 评论 -
智慧出行/HBase-HBase连接工具类:实现创建HBase连接池,关闭HBase连接
maven依赖 <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>2.0.0</version> </dependency> <dependency>原创 2020-07-15 11:22:59 · 619 阅读 · 0 评论 -
hbase-hbase体系架构图
原创 2020-07-01 04:12:51 · 357 阅读 · 0 评论 -
大数据组件-HBase和MapReduce的集合,读取HDFS到HBase,hive和HBase整合,HBase的预分区
1.HBase和MapReduce的集成HBse集成MR的中文API文档需求:将myuser表当中的f1列族的name和age字段写入待myuser2这张表的f1列族当中去ImmutableBytesWritable 序列,hbase的存储类型NullWriter没有数据context上下文的作用是起到桥梁作用把map阶段处理完的数据传递给reduce阶段(1)在原有基础上导入集成MR的maven工程(2)代码实现本地运行1.创建Mapper类,读取出表myuser的name和age字段,写原创 2020-05-27 14:50:54 · 362 阅读 · 0 评论 -
大数据组件-hbase简介架构,hbase集群搭建,高可用配置,表模型,hbase shell操作,javaAPI操作,创建表,向表添加数据,查询数据,过滤器查询,删除表
啊啊啊原创 2020-05-27 01:32:33 · 442 阅读 · 0 评论