![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HBase
Movle
this is the way
展开
-
HBase基础知识
目录一. HBaes介绍 1.1 HBase简介 1.2 HBase的角色 1.2.1 HMaster 1.2.2、HRegionServer 1.3、HBase的架构&.原创 2020-05-17 08:47:03 · 176 阅读 · 0 评论 -
HBase安装部署
HBase部署1、Zookeeper正常部署首先保证Zookeeper集群的正常部署,并启动之:/opt/module/zookeeper-3.4.5/bin/zkServer.sh start2、Hadoop正常部署Hadoop集群的正常部署并启动:/opt/module/hadoop-2.8.4/sbin/start-dfs.sh/opt/module/hadoop-2.8.4/sbin/start-yarn.sh3、HBase的解压解压HBase到指定目录:tar -zxvf原创 2020-05-17 08:50:10 · 3127 阅读 · 0 评论 -
HBase基本操作
目录一. 基本操作 1.0 命名空间的操作 1.1 表的操作 1.2 常用Shell操作一. 基本操作(1).进入HBase客户端命令行bin/hbase shell(2).查看帮助命令hbase(main)> help(3). 查看当前数据库中有哪些表hbase(main)> list(4)查看当前数据库中有哪些命名空间.原创 2020-05-17 08:55:05 · 435 阅读 · 0 评论 -
HBase读写数据流程
目录一.读写流程 1.1 HBase读数据流程 1.2 HBase写数据流程二. 退役(decommissioning) 2.1第一种方案 2.2 另一种方案三.Hbase集群出问题如何重置一、读写流程1.1、HBase读数据流程(1).HRegionServer保存着.META.的这样一张表以及表数.原创 2020-05-17 08:56:25 · 1932 阅读 · 0 评论 -
HBase优化
目录 1.1、高可用 1.2、Hadoop的通用性优化 1.3、Linux优化 1.4、Zookeeper优化 1.5、HBase优化 1.5.1、预分区 &nb.原创 2020-05-17 09:03:38 · 177 阅读 · 0 评论 -
HBase之API
0.用途通过HBase的相关JavaAPI可以实现伴随HBase操作的MapReduce过程,比如使用MapReduce将数据从本地文件系统导入到HBase的表中,比如从HBase中读取一些原始数据后使用MapReduce做数据分析1.pom.xml<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId>原创 2020-05-17 09:04:58 · 172 阅读 · 1 评论 -
HBase工具类
1.HBASEUtil.javapackage HBaseUtil;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hadoop.hbase.HTableDescriptor;import org.apache.hadoop.hbase.NamespaceDescriptor;import org.apache.hadoo原创 2020-05-17 09:05:52 · 222 阅读 · 0 评论 -
HBase-MapReduce案例:统计表中数据,使用MapReduce将本地数据导入Hbase
HBase的MapReduce任务过程1.查看HBase的MapReduce任务所需的依赖:cd /opt/module/hbase-1.3.1bin/hbase mapredcp2.执行环境变量的导入export HBASE_HOME=/opt/module/hbase-1.3.1export HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp`3.运行官方的MapReduce任务二.案例一:统计default:student表中有多原创 2020-05-17 09:07:04 · 1457 阅读 · 1 评论 -
HBase-MapReduce实战:利用MR将HBase中的fruit表导入到HBase中的fruit_mr表中
1.构建mapper类ReadFruitMapper.javapackage HBaseMR.HBaseToHBase;import java.io.IOException;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellUtil;import org.apache.hadoop.hbase.client.Put;import org.apache.hadoop.hbase.client.Resul原创 2020-05-17 09:07:57 · 247 阅读 · 0 评论 -
HBase-MapReduce实战:利用MR将HDFS中的数据写入HBase中的fruit_mr2表
1.构建mapperReadFruitFromHDFSMapper.javapackage HBaseMR.HDFSToHBase;import org.apache.hadoop.hbase.client.Put;import org.apache.hadoop.hbase.io.ImmutableBytesWritable;import org.apache.hadoop.hbase.util.Bytes;import org.apache.hadoop.io.LongWritable;原创 2020-05-17 09:08:39 · 261 阅读 · 0 评论 -
Phoenix集成HBase
一. Phoenix介绍 可以把Phoenix理解为Hbase的查询引擎,phoenix,由saleforce.com开源的一个项目,后又捐给了Apache。它相当于一个Java中间件,帮助开发者,像使用jdbc访问关系型数据库一些,访问NoSql数据库HBase。 phoenix,操作的表及数据,存储在hbase上。phoenix只是需要和Hbase进行表关联起来。然后再用工具进行一些读或写操作。原创 2020-05-17 09:13:28 · 348 阅读 · 0 评论 -
HBase与Hive的集成
一.HBase与Hive的对比HiveHbase特点类SQL 数据仓库NoSQL (Key-value)适用场景离线数据分析和清洗适合在线业务延迟延迟高延迟低存储位置存储在HDFS存储在HDFS二.HBase与Hive集成使用1.环境准备因为后续会在操作Hive的同时对HBase也会产生影响,所以Hive需要持有操作HBase的Jar,那么接下来拷贝Hive所依赖的Jar包(或者使用软连接的形式),记得还有把zookeeper的jar包考入原创 2020-05-17 09:10:10 · 139 阅读 · 0 评论 -
Sqoop集成HBase:Mysql TO HBase
一.Sqoop集成HBase1.利用Sqoop在HBase和RDBMS中进行数据的转储。2.相关参数:参数描述–column-family <family>设置导入的目标列族–hbase-create-table是否自动创建不存在的HBase表(这就意味着,不需要手动提前在HBase中先建立表)–hbase-row-key <col>mysql中哪一列的值作为HBase的rowkey,如果rowkey是个组合键,则以逗号分隔(注:避免row原创 2020-05-17 09:11:38 · 186 阅读 · 0 评论