u012957549的博客

在本地虚拟机中安装伪分布式的hbase 首先去官网下载https://www-us.apache.org/dist/hbase/2.1.1/hbase-2.1.1-bin.tar.gz 下载完后解压之后需要修改两个配置文件hbase-env.shexport JAVA_HOME=/apps/soft/java/jdk1.8.0_161export HBASE_CLASSPATH=/...

上文中我们介绍了安装hbase 的伪分布式安装 ，下面介绍一个hbase shell 的简单使用 当hbase 启动之后 进入 bin 目录下 使用 ./hbase shell 进入hbase shell 操作界面[root@hadoop bin]# ./hbase shellSLF4J: Class path contains multiple SLF4J bindings.SLF4J:...

一. 客户端clientList item 整个HBase 集群的访问入口 ；使用HBase RPC 机制 与 HMaster 和 HRegionServer 进行通信；与HMaster 进行通信进行管理类操作；与HRegionServer 进行数据读写类操作；包含访问HBase 的接口 并维护Cache 来加快对于HBase 的访问二.协调工具zookeeper保证任何时候...

Hbase支持bulk load 的入库方式，他是利用hbase 的数据信息按照特定格式存储在hdfs内这一原理，直接在HDFS中生成持久化的GFile数据格式的文件，然后上传到合适的位置，即完成巨量数据快速入库的方法。配合MapReduce完成，高效便捷而且不占用region资源，增添负载，在大数据写入时极大的提高写入效率并降低对HBase 节点的压力。通过使用先生成Hfile 文件，然后再B...

上一篇简单介绍了一下 BulkLoad 导入数据到Hbase 本篇我们通过一个例子 看下spark使用BulkLoad怎么将数据导入到 Hbase使用org.apache.hadoop.hbase.client.Put来写数据使用 org.apache.hadoop.hbase.client.Put 将数据一条一条写入Hbase中，但是和Bulk加载相比效率低下，仅仅作为对比。import...

如果知道hbase数据表的key的分布情况，就可以在建表的时候对hbase进行region的预分区。这样做的好处是防止大数据量插入的热点问题，提高数据插入的效率。背景：HBase默认建表时有一个region，这个region的rowkey是没有边界的，即没有startkey和endkey，在数据写入时，所有数据都会写入这个默认的region，随着数据量的不断 增加，此region已经不能承受不...

首先我们来看下hbase 的架构图1、hbase在Hadoop集群中的物理架构由图中可以看出，存储模块主要包括了ZooKeeper集群、HMaster、HRegionServer。ZooKeeper： Hbase是强依赖于ZooKeeper，我们读或写一个表的数据，都会优先访问ZooKeeper。 通常是集群中单独的3/5台服务器。 HMaster通...

如果有一些数据存储在hbase 当中 我们想通过sql 分析其中的数据 那么 与hive 集成就是一个不错的方法，本质上来说就是hive 充当了h’ba’se的客户端。1. 首先我们需要将hbase 的客户端jar 拷入hive lib 目录下[root@hadoop lib]# cp /apps/soft/hbase-2.1.1/lib/hbase-common-2.1.1.jar /ap...

上文中介绍了hbase shell 的curd 操作 本次介绍一下 java api 的curd 操作参数配置将hadoop 的core-site.xml hdfs-site.xml hbase 的hbase-site.xml 放到resources 目录下即可下面我们得到 hbase 的配置Configuration conf = HBaseConfiguration.cre...