HBase第二天——HBase安装

最新推荐文章于 2024-07-07 11:58:05 发布
最新推荐文章于 2024-07-07 11:58:05 发布
阅读量154 收藏
点赞数
分类专栏： HBase基础 文章标签： jasmine hbase 第二天
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45473750/article/details/102489146
版权

HBase第二天——HBase安装

自己的话：我愿平东海，身沉心不改；
大海无平期，我心无绝时。

HBase的集群环境搭建

一、下载对应的HBase的安装包

所有关于CDH版本的软件包下载地址如下：

http://archive.cloudera.com/cdh5/cdh/5/

HBase对应的版本下载地址如下：

http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.14.0.tar.gz

二、Zookeeper 正常部署

首先保证 Zookeeper 集群的正常部署，并启动之：

[hadoop1 zookeeper-3.4.10]$ bin/zkServer.sh start
[hadoop2 zookeeper-3.4.10]$ bin/zkServer.sh start
[hadoop3 zookeeper-3.4.10]$ bin/zkServer.sh start

三、Hadoop 正常部署

Hadoop 集群的正常部署并启动：

[hadoop1 ~]$ start-all.sh

四、压缩包上传并解压

将我们的压缩包上传到node01服务器
并解压HBase 到指定目录

tar -zxvf hbase-1.3.1.tar.gz -C 
/opt/module

五、修改配置文件

修改 HBase 对应的配置文件

[hadoop1 ~]$ cd /opt/module/hbase-1.3.1/conf
1. 修改hbase-env.sh 内容：

注释掉HBase使用内部zk

vim hbase-env.sh

export JAVA_HOME=/export/servers/jdk1.8.0_192
export HBASE_MANAGES_ZK=false

在这里插入图片描述
在这里插入图片描述

2. 修改hbase-site.xml 内容：

修改hbase-site.xml

vim hbase-site.xml

<configuration>
	<property> 
		<name>hbase.rootdir</name> 
		<value>hdfs://hadoop102:9000/hbase</value> 
	</property>
	
	<property> 
		<name>hbase.cluster.distributed</name>
		<value>true</value>
	</property>
	
<!-- 0.98后的新变动，之前版本没有.port,默认端口为60000 -->
	<property>
		<name>hbase.master.port</name>
		<value>16000</value>
	</property>
	
	<property>
		<name>hbase.zookeeper.quorum</name>
		<value>hadoop102:2181,hadoop103:2181,hadoop104:2181</
value>
	</property>
	
	<property> 
		<name>hbase.zookeeper.property.dataDir</name>
		<value>/opt/module/zookeeper-3.4.10/zkData</value>
	</property>
</configuration>

在这里插入图片描述

3. 修改regionservers内容：
vim regionservers 

hadoop01
hadoop02
hadoop03

在这里插入图片描述

4. 创建back-masters配置文件，实现HMaster的高可用
vim backup-masters

hadoop02
5. 软连接 hadoop 配置文件到 hbase：
[hadoop1 module]$ ln -s /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml /opt/module/hbase/conf/core-site.xml
[hadoop2 module]$ ln -s /opt/module/hadoop-2.7.2/etc/hadoop/hdfs-site.xml /opt/module/hbase/conf/hdfs-site.xml

六、HBase 远程发送到其他集群

将我们第一台机器的hbase的安装包拷贝到其他机器上面去

cd /opt/module

scp -r hadoop-2.7.2/ hadoop02:$PWD

scp -r hadoop-2.7.2/ hadoop03:$PWD

七、三台机器添加HBASE_HOME的环境变量

vim /etc/profile

export HBASE_HOME=/opt/module/hadoop-2.7.2
export PATH=:$HBASE_HOME/bin:$PATH

在这里插入图片描述

八、HBase 集群启动

1．启动方式 1
[hadoop1 hbase]$ bin/hbase-daemon.sh start master
[hadoop1 hbase]$ bin/hbase-daemon.sh start regionserver

提示：如果集群之间的节点时间不同步，会导致 regionserver 无法启动，抛出ClockOutOfSyncException 异常。

修复提示：

  • a、同步时间服务
    请参看帮助文档：《尚硅谷大数据技术之 Hadoop 入门》
  • b、属性：hbase.master.maxclockskew 设置更大的值
	<property>
		<name>hbase.master.maxclockskew</name>
		<value>180000</value>
		<description>Time difference of regionserver from master</description>
	</property>
2.启动方式 2
[hadoop1 hbase]$ bin/start-hbase.sh

查看进程，是否全部开启：

jps

在这里插入图片描述

3.对应的停止服务：
[hadoop1 hbase]$ bin/stop-hbase.sh

九、查看 HBase 页面

启动成功后，可以通过“host:port”的方式来访问 HBase 管理页面，例如：

http://hadoop1:16010

在这里插入图片描述
有了页面就证明集群启动成功了。

Nix GnaHz
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
安装hbas_HBase的安装与部署
weixin_36254564的博客
12-24 570
在安装HBase之前你需要先安装Hadoop和Zookeeper，如果你还没有安装可以通过这两篇文章来了解：Hadoop安装，Zookeeper安装。HBase安装HBase的安装也分为三种，单机版、伪分布式、分布式。我们首先来安装单机版。单机版首先我们去官网下载好HBase的安装包；接下来，将压缩包解压缩到你想安装的目录(我解压到的是/app目录)：tar -zxvf hbase-2.1.0-b...
【HBase】HBase 安装
w1992wishes的博客
06-06 240
一、下载安装 http://www.apache.org/dyn/closer.cgi/hbase 从上述页面，挑选一个 Apache Download Mirror（Apache下载镜像），下载一个Hbase 的稳定发布版本，注意看是否适配 Hadoop 版本。 解压： tar -zxv -f hbase-2.0.5-bin.tar.gz 设置 Hbase 环境变量，并使其生效： # hbas...
HDFS配置文件core-site.xml hdfs-site.xml 软连接到HBase
李献计的博客
05-25 2365
* core-site.xml $ ln -s /hadoop/etc/hadoop/core-site.xml /hbase/conf/core-site.xml * hdfs-site.xml $ ln -s /hadoop/etc/hadoop/hdfs-site.xml /hbase/conf/hdfs-site.xml （提示：不要忘记集群的其他几台机器也要做此操作） ...
Hadoop配置文件与HBase配置文件
我和我追逐的梦~~~
05-09 8251
本Hadoop与HBase集群有1台NameNode, 7台DataNode 1. /etc/hostname文件  NameNode:        node1 DataNode 1:        node2 DataNode 2:        node3 ....... DataNode 7:        node8 2. /etc/hosts文件 N
HBase的安装（单机版）
皮埃尔的博客
04-29 4341
HBase的安装（单机版）
从零开始搭建本地虚拟机HadoopHA + HbaseHA 完全分布式集群【超详细】
mqy224512的博客
04-21 1172
从零开始搭建本地虚拟机HadoopHA + HbaseHA 完全分布式集群 注：本人主机 8G 运行内存 目录:    一.工具介绍    二.Hadoop HA 概述    三.集群规划    四.虚拟机准备    五.集群环境准备    六.SSH免密    七.安装JDK    八.搭建 Zookeeper 集群    九.搭建 Hadoop HA集群    十.HDFS HA 测试    ...
HBase第四天——HBase API 操作
你怎么回事
10-11 257
HBase第四天——HBase API 操作 自己的话：我愿平东海，身沉心不改； 大海无平期，我心无绝时。 HBase的java代码开发 一、环境准备 新建项目后在 pom.xml 中添加依赖： <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server&...
hbase第04天
12-20
"hbase第04天"的课程可能涵盖了HBase的核心概念、操作和高级特性。以下是对这些文件内容的解读和相关知识点的详细说明： 首先，我们有两本关于HBase的重要参考资料：《中文》HBase权威指南.pdf 和 [O'REILLY] HBas ...
CDH-Hbase的安装1
08-03
在本文中，我们将深入探讨HBase的安装过程及其在CDH环境中的集成。HBase是Apache Hadoop生态系统中的一个核心组件，它是一个分布式、版本化的、支持列族的NoSQL数据库，特别适合处理大规模的数据存储。CDH（Cloudera...
Hbase详细安装步骤
05-07
HBase 详细安装步骤 HBase 是一个分布式、面向列的 NoSQL ...3. 运行 hbase——start-hbase.sh 4. 运行 jps 查看是否运行成功 注意：在安装过程中，需要授予权限和修改配置文件，以确保 HBase 安装和运行成功。
centos7 安装 hbase单机版
01-20
首先下载hbase安装包 wget http://mirror.bit.edu.cn/apache/hbase/stable/hbase-2.2.3-bin.tar.gz ...第二部 设置zookeeper选择 为true为hbase自带zookeeper ，false为自己部署的zookeeper export H
HBASE安装包及安装手册使用指南
07-17
在本文中，我们将深入探讨HBase的安装过程以及如何有效地使用和操作这个强大的分布式数据库系统。HBase，作为Apache Hadoop生态系统的一部分，是一款基于列族的NoSQL数据库，专为处理大规模数据集而设计。 首先，让...
HBase本地环境配置
Leonardy的博客
12-19 634
HBase配置事前准备本地模式伪分布式模式 HBase中有三个主要组件：1.客户端库，2.一台服务器，3.多台region服务器. HBase可以动态增加或移除region服务器,以适应不断变化的负载. 主服务器主要负责利用Apache ZooKeeper为region服务器分配region. 重点：ZooKeeper是一个关键组成部分，没有它HBase就无法运作. 事前准备 HBase的配置需要...
数据存储方案选择：ES、HBase、Redis、MySQL与MongoDB的应用场景分析
王卫东 博客
07-03 1347
本文旨在探讨ES、HBase、Redis、MySQL和MongoDB这五种技术的核心特性和优势，通过分析它们在不同应用场景下的表现，为技术选型提供指导和建议。
阶段三：项目开发---大数据开发运行环境搭建:任务6：安装配置HBase
qq_60872637的博客
07-07 736
安装配置HBase： 安装配置HBase：无本阶段任务是安装配置HBase，实时飞行数据是保存在HBase中的，因为HBase具有高效的读写能力，在当前项目中我们是将准备好的实时飞行数据导入到HBase中的，在实际项目中飞行数据则是实时写入HBase的。
使用Spring Boot和HBase实现大数据存储
微赚淘客开发者博客
07-06 606
HBase作为Apache Hadoop生态系统中的一个关键组件，提供了高可靠性、高性能的非关系型分布式数据库解决方案，适用于需要快速随机访问大数据集的场景。通过本文的介绍，我们了解了如何在Spring Boot应用中集成和使用HBase，实现了大数据存储和高效访问的功能。大家好，我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编，也是冬天不穿秋裤，天冷也要风度的程序猿！编写Spring Boot应用中与HBase交互的数据访问代码，包括表的创建、数据的插入和查询等操作。
使用Spring Boot和Couchbase实现NoSQL数据库
微赚淘客开发者博客
07-06 655
通过本文的介绍，我们学习了如何在Spring Boot应用中集成和使用Couchbase作为NoSQL数据库解决方案。Couchbase提供了丰富的功能和灵活的数据模型，与Spring Boot的集成能力使得开发者可以快速构建高效、可扩展的应用程序。Couchbase是一个分布式的多模型NoSQL数据库，结合了缓存和关系型数据库的优点，支持高性能、高可用性和灵活的数据模型。在使用Couchbase时，根据应用需求合理设计文档结构和索引，避免过度规范化和复杂的关系。在服务层或控制器中注入。
实操：VRRP配置实验演练演示.mp4
07-09
基于华为模拟器ENSP
基于深度强化学习的钢琴和声自动自适应系统.pdf
最新发布
07-09
基于深度强化学习的钢琴和声自动自适应系统.pdf
spark 读写hbase(scala)——2.批量操作
06-28
### 回答1： 批量操作是指一次性对多个数据进行操作，可以提高操作效率。在使用 Spark 读写 HBase 时，也可以使用批量操作来提高效率。具体实现方式如下： 1. 批量写入数据 使用 HBase 的 Put 类来创建要写入的数据，然后将 Put 对象添加到一个 List 中，最后使用 HBase 的 Table 类的 put 方法来批量写入数据。示例代码如下： ```scala val conf = HBaseConfiguration.create() val connection = ConnectionFactory.createConnection(conf) val table = connection.getTable(TableName.valueOf("table_name")) val puts = new ListBuffer[Put]() for (i <- 1 to 100) { val put = new Put(Bytes.toBytes(s"row_$i")) put.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("col"), Bytes.toBytes(s"value_$i")) puts += put } table.put(puts.toList.asJava) ``` 2. 批量读取数据 使用 HBase 的 Get 类来创建要读取的数据，然后将 Get 对象添加到一个 List 中，最后使用 HBase 的 Table 类的 get 方法来批量读取数据。示例代码如下： ```scala val conf = HBaseConfiguration.create() val connection = ConnectionFactory.createConnection(conf) val table = connection.getTable(TableName.valueOf("table_name")) val gets = new ListBuffer[Get]() for (i <- 1 to 100) { val get = new Get(Bytes.toBytes(s"row_$i")) get.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("col")) gets += get } val results = table.get(gets.toList.asJava) for (result <- results) { val row = Bytes.toString(result.getRow) val value = Bytes.toString(result.getValue(Bytes.toBytes("cf"), Bytes.toBytes("col"))) println(s"$row: $value") } ``` 以上就是使用 Scala 实现 Spark 读写 HBase 的批量操作的方法。 ### 回答2： 在实际的数据处理中，一次需要对多条数据进行读写操作，如果每次都进行单条的读写逐条操作会使程序效率非常低下。所以spark提供了批量操作API，可以对多条数据进行一次性的读写操作，极大地提高了程序的效率。 批量读操作： 批量读取数据的方式有两种：Get和Scan。 使用Get方式读取多条数据，需要将每条数据对应的Get对象添加到List集合当中，再将List集合转换为RDD对象进行操作。示例代码如下： ```scala val conf = HBaseConfiguration.create() conf.set(TableInputFormat.INPUT_TABLE, tableName) val gets = new util.ArrayList[Get]() gets.add(new Get(Bytes.toBytes("rowkey1"))) gets.add(new Get(Bytes.toBytes("rowkey2"))) gets.add(new Get(Bytes.toBytes("rowkey3"))) conf.set(TableInputFormat.SCAN, convertScanToString(new Scan())) val getRdd = sc.parallelize(gets) val hbaseRdd = getRdd.map((_, null)).hbaseBulkGet(conf, tableName, (result: Result) => { val kv: Array[Byte] = result.getValue(Bytes.toBytes(family), Bytes.toBytes(column)) Bytes.toString(kv) }) println(hbaseRdd.collect.toBuffer) ``` 使用Scan方式读取多条数据，需要将Scan对象作为参数传入，再将RDD对象转换为PairRDD并使用hbaseScan方法进行操作。示例代码如下： ```scala val conf = HBaseConfiguration.create() conf.set(TableInputFormat.INPUT_TABLE, tableName) val scan = new Scan(Bytes.toBytes("rowkey1"), Bytes.toBytes("rowkey3")) conf.set(TableInputFormat.SCAN, convertScanToString(scan)) val hbaseRdd = sc.hbaseScanRDD(conf).map((result: Result) => { val kv: Array[Byte] = result.getValue(Bytes.toBytes(family), Bytes.toBytes(column)) Bytes.toString(kv) }) println(hbaseRdd.collect.toBuffer) ``` 批量写操作： 批量写操作可以使用Put对象集合，将多条数据对应的Put对象添加到集合中，并将集合转换成RDD进行操作即可。示例代码如下： ```scala val conf = HBaseConfiguration.create() conf.set(TableOutputFormat.OUTPUT_TABLE, tableName) val puts = new util.ArrayList[Put]() puts.add(new Put(Bytes.toBytes("rowkey1")).addColumn(Bytes.toBytes(family), Bytes.toBytes(column), Bytes.toBytes("value1"))) puts.add(new Put(Bytes.toBytes("rowkey2")).addColumn(Bytes.toBytes(family), Bytes.toBytes(column), Bytes.toBytes("value2"))) puts.add(new Put(Bytes.toBytes("rowkey3")).addColumn(Bytes.toBytes(family), Bytes.toBytes(column), Bytes.toBytes("value3"))) val putRdd = sc.parallelize(puts) putRdd.hbaseBulkPut(conf, tableName) ``` 总结： 批量操作是Spark访问HBase的常见操作方式，在实际的实现过程中需要注意以下几点： 1、Get和Scan对象在HBase中读取数据的方式不一样，需要注意区分； 2、使用批量读操作可以大大提高程序效率，减少读写操作的时间消耗； 3、使用批量写操作需要合理规划写入的数据，避免出现数据冲突问题，影响程序的运行。 ### 回答3： 本篇文章将继续深入介绍如何使用Scala编码实现Spark读写操作HBase，具体涉及到HBase的批量操作。 一、Batch操作概述 在使用HBase进行数据处理的时候，我们常常需要对一个或多个表进行批量操作，批量操作即是针对 HBase的多行进行插入、删除等操作，以此来实现在HBase操作上的高效处理。HBase提供了很多批量操作API，比如 Put、Get、Delete、Scan，这些API都是可以批量操作的。 在Spark中，我们同样可以使用类似的API对HBase进行批量操作。本文将根据具体需求使用Spark实现HBase的批量操作。 二、批量操作的实现 Spark读写HBase时，使用RDD中的foreachPartition来对每个分区进行处理，在该函数内使用HBase API进行操作。关于批量操作，我们可以在每个分区中开启一个batch操作，将每个操作加入batch后，再提交即可。 例如，我们可以考虑实现一个批量put的功能，将RDD中的数据一批一批写入表中： ``` def insert(tableName: String, rdd: RDD[(String, String)]): Unit = { try{ rdd.foreachPartition({ iter => val conf = HBaseUtils.getHBaseConfiguration() conf.set(TableOutputFormat.OUTPUT_TABLE, tableName) val conn = ConnectionFactory.createConnection(conf) val table = conn.getTable(TableName.valueOf(tableName)) val puts = new java.util.ArrayList[Put]() iter.foreach { case (rowKey:String, value: String) => { // 构造put对象并append val put = new Put(Bytes.toBytes(rowKey)) put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(columnQualifier), Bytes.toBytes(value)) puts.add(put) if (puts.size() >= batchSize) { // 多条记录组成的put对象，使用put(List<Put>)一次性写入 table.put(puts) puts.clear() } } } // 如果puts还有内容，再写一次 if (puts.size() > 0) { table.put(puts) puts.clear() } table.close() conn.close() }) } catch { case e: Exception => e.printStackTrace() } } ``` 在该方法中，我们使用foreachPartition遍历RDD中的每个分区，然后通过Connection来获取HBase表实例。 之后定义了一个用于存放Put的List，当List的大小大于等于batchSize时，就将这个List中的所有put操作提交给HBase执行。 最后，释放资源，并为大家展示如何调用这个方法： ``` val rdd: RDD[(String, String)] = ... val tableName: String = ... insert(tableName, rdd) ``` 使用这种方式实现批量put，我们可以将一批数据提交到HBase执行，从而提升写入效率。当然，对于其他批量操作也可以应用类似的方式。 三、总结 本文根据实际需求，结合Spark和HBase的特点，实现了一些常用的批量操作，为大家提供了一个快速、高效的HBase操作方案。批量操作的好处是，可以将多条记录一次性操作，请求与写入等待时间都会得到缩短，获得更高的效率。感兴趣的同学可以试试，在实际开发中应该会受益匪浅！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值