Hbase
ysjh0014
QQ:3463446481
展开
-
Hbase中表的操作
官方文档: http://hbase.apache.org/book.html#quickstart1.创建表必须指定表名和ColumnFamily(列族名)名称,例如下面的'cf'就是列族名hbase(main)> create 'test','cf'2.查看表hbase(main)>list 'test'3.查看表的详细信息hbase(ma...原创 2018-09-23 10:21:06 · 408 阅读 · 0 评论 -
HBase与Sqoop的集成
之前学习Sqoop的时候都是Hadoop,Hive和RDBMS之间进行数据的导入与导出,并没有与HBase集成,下面就来讲解HBase与Sqoop的集成需求:利用 Sqoop 在 HBase 和 RDBMS 中进行数据的转储,将 RDBMS(Mysql) 中的数据抽取到 HBase 中1.在Sqoop中配置sqoop-env.sh,添加下边的内容export HBASE_HOME...原创 2018-11-08 15:52:56 · 704 阅读 · 0 评论 -
HBase常用的shell操作
1.status显示服务器状态hbase>status 'cdh0'2.whoami显示HBase当前用户hbase>whoami3.count统计指定表的记录数hbase>count 'test'4.describe展示表结构信息hbase>describe 'test'5.exist检查表是否存在,适用于表量特...原创 2018-11-05 21:32:52 · 229 阅读 · 0 评论 -
HBase与Hive的集成案例二
1.案例需求在 HBase 中已经存储了某一张表hbase_hive,然后在Hive中创建一个外部表来关联HBase中的hbase_hive这张表,使之可以借助 Hive来分析 HBase 这张表中的数据,案例二是紧接着案例一进行的,所以在做案例二之前应该先进行案例一2.在Hive中创建外部表并关联到HBase中的表CREATE EXTERNAL TABLE hbase_emp(e...原创 2018-11-05 17:44:13 · 325 阅读 · 1 评论 -
HBase与Hive的集成案例一
1.Hive与HBase的对比 Hive 1)数据仓库Hive 的本质其实就相当于将 HDFS 中已经存储的文件在 Mysql 中做了一个双射关系,以方便使用 HQL 去管理查询 2)用于数据分析、清洗Hive 适用于离线的数据分析和清洗,延迟较高 3)基于 HDFS、MapReduceHive 存储的数据依旧在 DataNode 上,编写的 HQL 语...原创 2018-11-05 17:36:33 · 405 阅读 · 0 评论 -
HBase之自定义HBase-Mapreduce案例一
1.需求场景将HBase中的ys表中的一部分数据通过Mapreduce迁移到ys_mr表中2.代码编写 1)构建ReadysMapreduce类,用于读取ys表中的数据package cn.ysjh;import java.io.IOException;import org.apache.hadoop.hbase.Cell;import org.apache.hado...原创 2018-11-04 11:09:30 · 499 阅读 · 0 评论 -
Hbase之官方Hbase-Mapreduce案例
Hbase是一个非关系型的数据库,可以分布式部署,擅长存储数据,但是不能分析数据,所以通过 HBase 的相关 JavaAPI,我们可以实现伴随HBase 操作的 MapReduce 过程,比如使用MapReduce 将数据从本地文件系统导入到 HBase 的表中,比如我们从 HBase 中读取一些原始数据后使用 MapReduce 做数据分析Hbase-Mapreduce官方案例(统计有多少...原创 2018-11-03 10:00:41 · 1467 阅读 · 0 评论 -
Hbase使用Java API对表进行增删改查操作
在之前的文章已经介绍了如何测试表是否存在,现在在此基础上对表进行增删改查操作所以这里就直接上代码了HabseCreate.javapackage cn.ysjh;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf....原创 2018-09-27 19:55:23 · 2681 阅读 · 0 评论 -
Hbase使用Java API测试表是否存在
1.创建Maven工程,添加pom.xml和配置文件pom.xml <dependencies><dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>1原创 2018-09-27 19:38:53 · 3756 阅读 · 0 评论 -
Hbase读写数据流程
1.读数据流程 1)HRegionServer 保存着 meta 表以及表数据,要访问表数据,首先 Client 先去访问zookeeper,从 zookeeper 里面获取 meta 表所在的位置信息,即找到这个 meta 表在哪个HRegionServer 上保存着 2)接着 Client 通过刚才获取到的 HRegionServer 的 IP 来访问 Meta 表所在的H...原创 2018-09-23 10:37:28 · 237 阅读 · 0 评论 -
Hbase的基本特性及工作机制
基本特性:Hbase是一种nosql数据库,是一种分布式数据库系统,可以提供数据的实时随机读写 数据的最终持久化存储是基于hdfs的,特点是可以随时实现在线扩容 数据的增删改查模块是基于分布式系统的Hbase数据库与关系型数据库不一样: 关系型数据库的表结构是字段名,下面存储的是字段值,而Hbase数据库没有这些,Hbase的表结构是rowkey(行键...原创 2018-07-20 13:50:00 · 2019 阅读 · 0 评论 -
Hbase集群搭建
前面已经对Hbase进行过介绍,Hbase是存储在HDFS上的,并且由zookeeper进行管理的,因此安装准备如下:一个hadoop集群一个zookeeper集群,这里重点是讲Hbase集群的搭建,所以默认你已经有了hadoop集群和zookeeper集群,并且已经全部运行了我这里用的是CDH5.3.6,所以不用考虑兼容性问题,角色分配如下:机器一: namenode...原创 2018-08-10 14:19:40 · 316 阅读 · 0 评论 -
Hbase简介
官方网站: http://hbase.apache.org1.Hbase的简介HBase 的原型是 Google 的 BigTable 论文,受到了该论文思想的启发,目前作为 Hadoop 的子项目来开发维护,用于支持结构化的数据存储-- 2006 年 Google 发表 BigTable 白皮书-- 2006 年开始开发 HBase-- 2008 年北京成功开奥...原创 2018-09-22 20:30:30 · 333 阅读 · 0 评论 -
HBase的高可用
在HBase中HMaster负责监控RegionServer的生命周期,均衡 RegionServer 的负载,那么如果HMaster 挂掉了,那么整个 HBase 集群将不能正常工作,所以HBase中需要对HMaster进行高可用配置具体步骤如下:1.关闭HBase集群(如果已关闭则跳过这步)bin/stop-hbase.sh2.在HBase中conf目录下创建backup-m...原创 2018-11-08 16:26:21 · 322 阅读 · 0 评论