![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HBase
Meyaoo
这个作者很懒,什么都没留下…
展开
-
浅谈HBase系统架构
一、HBase基本架构和核心功能模块Client:客户端Client是HBase系统的入口,使用者直接通过客户端操作HBase;Client使用HBase的RPC机制与HMaster和RegionServer进行通信,对HBase 管理类操作,Client与HMaster进行RPC通信;对数据读写类操作,Client与 RegionServer进行RPC交互;Client客户端允许有多个,包括原创 2016-05-11 10:32:02 · 1229 阅读 · 0 评论 -
HBase分布式安装配置图文详解
一、准备工作首先确保已经搭建好Hadoop集群环境,可以参考之前的博文安装配置好。《Hadoop分布式集群环境搭建》HBase需要依赖Zookeeper管理,所以确保每台机器都安装配置好了Zookeeper,可以参考之前的博文(注:可视化ZKUI为选装插件)《 Zookeeper安装配置及可视化ZKUI安装配置》下载HBase安装包,这里选择了hbase-1.1.4-bin.tar.gzhba原创 2016-05-01 11:28:24 · 899 阅读 · 0 评论 -
使用JAVA将Hadoop HDFS中的日志文件导入HBase中(一)
开发环境硬件环境:Centos 6.5 服务器3台(一台为Master节点,两台为Slave节点) 软件环境:Java 1.7.0_71、IDEA、Hadoop-2.6.2、hbase-1.1.4一、生成日志文件假设日志文件有六列,每列之间由空格间隔 例如:aaa 20.3.111.3 bbb user nothing 2016-05-01www 22.3.201.7 ggg user no原创 2016-05-01 16:50:55 · 4070 阅读 · 1 评论 -
HBase源码分析之客户端连接发展历程
一直在找关于HBase线程池的实现方法,不过找到的资料都是之前的老版本,现在都已经被@deprecated。1.较早的版本使用的HTablePool类/** * A simple pool of HTable instances. * HTable的线程池 * * Each HTablePool acts as a pool for all tables. To use, instanti原创 2016-05-11 13:52:54 · 2133 阅读 · 0 评论 -
使用JAVA API和MapReduce读取HBase里的数据(可用作HBase数据清洗)
使用JAVA API和MapReduce读取HBase里的数据原创 2016-06-21 14:57:41 · 3915 阅读 · 0 评论 -
通过MapReduce把Hive表数据导入到HBase
由于Hive查询速度比较慢,进行了表分区使用Impala也是很满意,所以为了公司业务展示,需要测试使用HBase的查询速度怎么样,头一件事就是把HIVE的数据导入到HBase中,搜了半天也没搜到到底该怎么搞,也有说能用Sqoop的,可是没找到资料,只好自己用MapReduce实现。话不多说,逻辑很简单,只是用了Map,直接上代码。原创 2016-07-13 22:37:02 · 3541 阅读 · 0 评论 -
使用MapReduce将Hadoop HDFS中的日志文件导入HBase中(二)
今天来记录一下由HDFS高效率导入HBase的两种导入方式。经过测试,导入时间明显减少。1.使用Map+Reduce方式 2.只使用Map的方式原创 2016-05-13 09:28:49 · 2032 阅读 · 0 评论 -
使用MapReduce解析HDFS中的文件生成HFile文件导入HBase(三)
使用MapReduce生成HFile文件是导入大量数据到HBase的最快方法总共分为两部分,生成HFile和导入到HBase一、生成HFile1.主程序ConvertToHFiles.javapublic class ConvertToHFiles extends Configured implements Tool { private static final L...原创 2018-03-23 15:17:15 · 2477 阅读 · 3 评论