HBase
小财迷,嘻嘻
这个作者很懒,什么都没留下…
展开
-
Kafka数据写入Hbase (含设计模式简单使用)
设计模式详解可以看菜鸟教程:https://www.runoob.com/design-pattern/singleton-pattern.html我们将kafka的数据写进HBase中,都是在一个main方法中的,这显然是个小白做法,下面我们用设计模式实现,降低依赖,降低耦合,增加代码的可重用性。pom依赖: <dependency> <groupId>org.apache.kafka</groupId> <artifactId>原创 2021-01-15 12:23:06 · 1144 阅读 · 0 评论 -
HBase环境搭建(单机模式)
前言:HBase的安装有三种方式:单机模式、伪分布式、完全分布式,本文配置的是单机模式。1、前置条件安装Hbase之前,需要具备如下三个前置条件。1、HBase的运行需要jdk;2、HBSE底层存储以来于HDFS的,因此安装HBase的前提是安装hdoop环境;3、HBase依赖于ZooKeeper来分布式协调工作,所以需要先有ZooKeeper的环境。如果只是安装单机版hbase,zookeeper使用hbase内置的即可。2、HBase解压安装下载hbase(建议下载hbase-1.2.1原创 2020-09-14 18:19:22 · 1401 阅读 · 0 评论 -
HBase环境搭建(完全分布式)
目录1、前置条件2、上传解压3、配置环境3.1 配置系统环境3.2 配置hbase-env.sh3.3 配置hbase-site.xml3.4 修改regionservers文件3.5 将配置好的HBase远程发送到其他机器4、启动5、查看HBase页面1、前置条件1、Zookeeper集群的正常部署并启动:[root@hadoop102 zookeeper]$ $ZK_HOME/bin/zkServer.sh start[root@hadoop103 zookeeper]$ $ZK_HOME/原创 2020-12-17 17:42:05 · 188 阅读 · 0 评论 -
HBase环境搭建(伪分布式)
目录1、前置条件2、HBase上传解压3、配置环境变量3.1 配置系统环境3.2 配置hbase-env.sh3.3 配置hbase-site.xml3.4 修改regionservers文件4、启动5、查看HBase页面1、前置条件1、zookeeper正常部署并启动:[root@hadoop101 zookeeper]$ $ZK_HOME/bin/zkServer.sh start2、Hadoop伪分布式集群的正常部署并启动:[root@hadoop101 hadoop]$ $HAD原创 2020-12-17 17:09:39 · 818 阅读 · 0 评论 -
Hive与HBase集成
目录1、Hive与HBase集成使用场景2、Hive与HBase集成原理3、实现Hive与HBase集成1、Hive与HBase集成使用场景将HBase作为Hive数据源,让HBase支持类SQL操作将Hive ETL数据存入HBase,便于快速查询构建低延时的数据仓库,利用HBase快速读写能力,实现数据实时查询2、Hive与HBase集成原理通过两者本身对外的API接口互相通信完成,由Hive的lib目录中hive-hbase-handler-*.jar工具类实现H原创 2020-10-04 13:20:40 · 329 阅读 · 0 评论 -
Sqoop数据迁移
1、Sqoop简介Sqoop 是一个常用的数据迁移工具,主要用于在不同存储系统之间实现数据的导入与导出:导入数据:从 MySQL,Oracle 等关系型数据库中导入数据到 HDFS、Hive、HBase 等分布式文件存储系统中;导出数据:从 分布式文件系统中导出数据到关系数据库中。其原理是将执行命令转化成 MapReduce 作业来实现数据的迁移。2、Sqoop基本命令2.1查看所有命令sqoop help2.2查看某条命令的具体使用方法命令格式1:sqoop help 命令名命令原创 2020-09-29 19:41:51 · 259 阅读 · 0 评论 -
Sqoop环境搭建
目录1、解压安装2、配置环境变量3、修改配置文件4、拷贝JDBC驱动5、去除warning警告6、验证7、测试sqoop连接数据库前言:安装Sqoop的前提是已经具备Java和Hadoop、Hive、Zookeeper、HBase的环境。1、解压安装下载地址:http://archive.cloudera.com/cdh5/cdh/5/解压到opt目录下tar -zxvf sqoop-1.4.6-cdh5.14.2.tar.gz -C /opt改名:mv sqoop-1.4.6-cdh5.14原创 2020-09-26 15:11:19 · 250 阅读 · 0 评论 -
Java API操作HBase
这里写目录标题1、创建Maven项目并添加依赖2、使用Java API开发代码2.1创建表2.2插入数据3、打包、上传Jar包并测试1、创建Maven项目并添加依赖要使用 Java API 操作 HBase,需要引入 hbase-client。这里选取的 HBase Client 的版本为 1.2.0。<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client原创 2020-09-25 17:12:40 · 143 阅读 · 0 评论 -
Phoenix安装
1、解压安装官方下载地址:http://phoenix.apache.org/download.html解压到opt目录下tar -zxvf apache-phoenix-4.14.0-cdh5.14.2-bin.tar.gz -C /opt进opt目录下改名mv apache-phoenix-4.14.0-cdh5.14.2-bin phoenix2、拷贝jar包拷贝 phoenix-4.14.0-cdh5.13.2-server.jar到当前主机hbase/lib目录。这里由于原创 2020-09-25 15:56:50 · 120 阅读 · 0 评论 -
HBase常用命令(超全超详细)
一、基本命令打开Hbase Shell:hbase shell1.1获取帮助#获取帮助help#获取命令的详细信息help 'status'1.2查看服务器状态status1.3查看版本信息version二、表操作2.1查看所有的表list2.1创建表命令格式1:create ‘表名’,‘列簇名1’,‘列簇名2’…命名格式2:create ‘表名’,{NAME=>‘列簇名1’},{NAME=>‘列簇名2’}…#创建一张名为Student的表,包含基本信息(ba原创 2020-09-24 20:17:56 · 24876 阅读 · 1 评论 -
HBase简介
目录1、Hadoop局限2、HBase简介3、HBase Table4、Phoenix1、Hadoop局限要想明白为什么产生HBase,就需要先了解Hadoop存在的限制?Hadoop的局限在于只能执行批处理,并且只能顺序访问数据,即使最简单的工作,都必须搜索整个数据集,无法实现随机访问。传统的关系型数据库可以实现数据的随机访问,但它却不能用于海量数据的存储。HBase可以解决海量数据存储和随机访问问题2、HBase简介HBase是基于HDFS的面向列的分布式数据库。HBase依托于H原创 2020-09-24 18:28:57 · 167 阅读 · 0 评论