HBase环境搭建

已于 2022-04-05 00:11:47 修改
阅读量6.7k 收藏 36
点赞数 28
文章标签： hadoop
于 2022-03-24 20:08:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_60317308/article/details/123720048
版权

1.一共需要搭建3台节点，1个主节点2个从节点。在安装之前需要配置好虚拟机网络静态IP，同步时间，关闭防火墙和使用Linux SSH（安全Shell）。

1.网络配置

（1）编辑VMware的网络配置

编辑-虚拟网络编辑器-点击NAT模式子网网关中第三个修改为10

（2）Windows的网络配置

找到网络和Internet设置-更改适配器选项-点击修改vmnet8-属性-internet协议版本4

修改ip地址 192.168.10.1

子网掩码 255.255.255.0

默认网关192.168.10.2

dns服务器 192.168.10.2

（3）虚拟机网络IP修改地址配置

root@hadoop100 ~]#vim /etc/sysconfig/network-scripts/ifcfg-ens33

 

TYPE="Ethernet"    #网络类型（通常是Ethemet）
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"   #IP的配置方法[none|static|bootp|dhcp]（引导时不使用协议|静态分配IP|BOOTP协议|DHCP协议）
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"   
UUID="e83804c1-3257-4584-81bb-660665ac22f6"   #随机id
DEVICE="ens33"   #接口名（设备,网卡）
ONBOOT="yes"   #系统启动的时候网络接口是否有效（yes/no）
#IP地址
IPADDR=192.168.10.100  
#网关  
GATEWAY=192.168.10.2      
#域名解析器
DNS1=192.168.10.2

执行systemctl restart network命令，重启网络服务。如果报错，则执行“reboot”命令，重启虚拟机

 

修改主机名和hosts文件

1）修改主机名称

[root@hadoop100 ~]# vim /etc/hostname

hadoop100

2）配置Linux克隆机主机名称映射hosts文件，打开/etc/hosts

[root@hadoop100 ~]# vim /etc/hosts

添加如下内容

192.168.10.100 hadoop100

192.168.10.101 hadoop101

192.168.10.102 hadoop102

192.168.10.103 hadoop103

192.168.10.104 hadoop104

192.168.10.105 hadoop105

192.168.10.106 hadoop106

192.168.10.107 hadoop107

192.168.10.108 hadoop108

 远程工具逐步安装即可

在/opt目录下创建文件夹

（1）在/opt目录下创建module、software文件夹

[root@hadoop100 ~]# mkdir /opt/module

[root@hadoop100 ~]# mkdir /opt/software

 安装jdk

用XShell传输工具将JDK导入到opt目录下面的software文件夹下面

在Linux系统下的opt目录中查看软件包是否导入成功

[atguigu@hadoop102 ~]$ ls /opt/software/

看到如下结果：

jdk-8u212-linux-x64.tar.gz

解压JDK到/opt/module目录下

[atguigu@hadoop102 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

配置JDK环境变量

（1）新建/etc/profile.d/my_env.sh文件

[atguigu@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh

添加如下内容

#JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_212

export PATH=$PATH:$JAVA_HOME/bin

保存后退出

:wq

（3）source一下/etc/profile文件，让新的环境变量PATH生效

[atguigu@hadoop102 ~]$ source /etc/profile

测试JDK是否安装成功

[atguigu@hadoop102 ~]$ java -version

如果能看到以下结果，则代表Java安装成功。

java version "1.8.0_212"

注意：重启（如果java -version可以用就不用重启）

[atguigu@hadoop102 ~]$ sudo reboot

安装Hadoop

1）用XShell文件传输工具将hadoop-3.1.3.tar.gz导入到opt目录下面的software文件夹下面

2）进入到Hadoop安装包路径下

[atguigu@hadoop102 ~]$ cd /opt/software/

3）解压安装文件到/opt/module下面

[atguigu@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

4）查看是否解压成功

[atguigu@hadoop102 software]$ ls /opt/module/

hadoop-3.1.3

5）将Hadoop添加到环境变量

（1）获取Hadoop安装路径

[atguigu@hadoop102 hadoop-3.1.3]$ pwd

/opt/module/hadoop-3.1.3

（2）打开/etc/profile.d/my_env.sh文件

[atguigu@hadoop102 hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh

  • 在my_env.sh文件末尾添加如下内容：（shift+g）

#HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-3.1.3

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

  • 保存并退出： :wq

（3）让修改后的文件生效

[atguigu@hadoop102 hadoop-3.1.3]$ source /etc/profile

6）测试是否安装成功

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop version

Hadoop 3.1.3

7）重启（如果Hadoop命令不能用再重启虚拟机）

[atguigu@hadoop102 hadoop-3.1.3]$ sudo reboot

配置集群

1）核心配置文件

配置core-site.xml

[atguigu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop

[atguigu@hadoop102 hadoop]$ vim core-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <!-- 指定NameNode的地址 -->

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://hadoop102:8020</value>

    </property>

    <!-- 指定hadoop数据的存储目录 -->

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/module/hadoop-3.1.3/data</value>

    </property>

    <!-- 配置HDFS网页登录使用的静态用户为atguigu -->

    <property>

        <name>hadoop.http.staticuser.user</name>

        <value>atguigu</value>

    </property>

</configuration>

（2）HDFS配置文件

配置hdfs-site.xml

[atguigu@hadoop102 hadoop]$ vim hdfs-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<!-- nn web端访问地址-->

<property>

        <name>dfs.namenode.http-address</name>

        <value>hadoop102:9870</value>

    </property>

<!-- 2nn web端访问地址-->

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>hadoop104:9868</value>

    </property>

</configuration>

（3）YARN配置文件

配置yarn-site.xml

[atguigu@hadoop102 hadoop]$ vim yarn-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <!-- 指定MR走shuffle -->

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <!-- 指定ResourceManager的地址-->

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>hadoop103</value>

    </property>

    <!-- 环境变量的继承 -->

    <property>

        <name>yarn.nodemanager.env-whitelist</name>

        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>

    </property>

</configuration>

（4）MapReduce配置文件

配置mapred-site.xml

[atguigu@hadoop102 hadoop]$ vim mapred-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<!-- 指定MapReduce程序运行在Yarn上 -->

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

</configuration>

4）在集群上分发配置好的Hadoop配置文件

[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/

Zookeeper安装

下载zookeeper-3.4.10.tar.gz。上传到目录/opt/software下。通过以下命令解压到目录/opt/module中。

[root@slave0 ~]# tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/

（2）配置Zookeeper环境变量

在/etc/profile文件最后追加相关内容。

[root@slave0 ~]# vi /etc/profile

内容如下：

#ZOOKEEPER

export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.10

export PATH=$PATH:$ZOOKEEPER_HOME/bin

（3）在/opt/module/zookeeper-3.4.10/ 这个目录下创建data/zkData

[root@slave0 zookeeper-3.4.10]#  mkdir -p data/zkData

（4）重命名/opt/module/zookeeper-3.4.10/conf这个目录下的zoo_sample.cfg为zoo.cfg

[root@slave0 conf]#  mv zoo_sample.cfg zoo.cfg

（5）配置zoo.cfg文件

dataDir=/opt/module/zookeeper-3.4.10/data/zkData

###增加如下配置

#######################cluster##########################

server.1=slave0:2888:3888

server.2=slave1:2888:3888

server.3=slave2:2888:3888

（6）配置Zookeeper集群

① 在/opt/module/zookeeper-3.4.10/data/zkData目录下创建一个myid的文件。

[root@slave0 zkData]#  touch myid

编辑myid文件，在文件中添加与server对应的编号：如1。

② 分发配置好的zookeeper到其他机器上，并分别修改myid文件中内容为2、3。

③ 分别启动zookeeper

[root@slave0 zookeeper-3.4.10]# bin/zkServer.sh start

[root@slave1 zookeeper-3.4.10]# bin/zkServer.sh start

[root@slave2 zookeeper-3.4.10]# bin/zkServer.sh start

接下来，在集群上分发以上所有文件。

 HBase安装

1）下载安装Zookeeper

下载zookeeper-3.4.10.tar.gz。上传到目录/opt/software下。通过以下命令解压到目录/opt/module中。

[root@slave0 ~]# tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/

（2）配置HBase环境变量

在/etc/profile文件最后追加相关内容。

[root@slave0 ~]# vi /etc/profile

内容如下：

#HBASE_HOME

export HBASE_HOME=/opt/module/hbase-1.3.3

export PATH=$PATH:$HBASE_HOME/bin

（3）修改HBase的配置文件

hbase-site.xml文件：

<configuration>

<property>

<name>hbase.master.maxclockskew</name>

<value>180000</value>

</property>

<property>

<name>hbase.rootdir</name>

<value>hdfs://slave0:9000/hbase</value>

</property>

<property>  

<name>hbase.cluster.distributed</name>  

<value>true</value>

</property>

<property>     

<name>hbase.zookeeper.property.dataDir</name>     

<value>/opt/module/zookeeper-3.4.10/data/zkData</value>  

</property>

<property>  

<name>hbase.zookeeper.quorum</name>  

<value>slave0,slave1,slave2</value>

</property>

</configuration>

hbase-env.sh：

export JAVA_HOME=/opt/module/jdk1.7.0_79

export HBASE_MANAGES_ZK=false

regionservers：

slave0

slave1

slave2

（4）将Hadoop配置文件拷贝到HBase的conf目录下

将Hadoop的配置文件core-site.xml和hdfs-site.xml拷贝到HBase的conf目录下，接下来，在集群上分发以上所有文件。

（5）启动停止HBase集群

$ bin/start-hbase.sh

对应的停止命令：

$ bin/stop-hbase.sh

至此，HBase集群的安装配置完毕。

￥太弱了
关注
  • 28
    点赞
  • 踩
  • 36
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
HBase集群环境搭建
06-15
HBase集群环境搭建 HBase集群环境搭建是大数据技术中的一个重要环节，本文将详细介绍HBase集群环境搭建的步骤和配置过程。以下是HBase集群环境搭建的详细信息： 一、集群规划 在HBase集群环境搭建中，需要首先...
Hadoop集群+Zookeeper+HBase环境搭建
03-29
Hadoop+Zookeeper+HBase环境搭建,详细步骤和实例,从零开始搭建Hadoop集群
HBase 分布式搭建
JIE的博客 --- moon_coder
02-11 3238
请先确保 Hadoop 集群搭建完成。
大数据环境搭建之Hbase集群搭建
SuperMap技术控
06-14 3871
作者：Neshoir       HBase是基于Google BigTable论文设计的具有高可靠性，高性能，可伸缩的开源分布式数据库，其具有松散表结构、高效查询、高吞吐低延迟、多版本等特点，可应用于丰富的场景中，如用户画像、实时报表、股票K线、时空轨迹数据等。HBase底层存储是基于HDFS之上，所以使用HBase之前先搭建好Hadoop HDFS的环境，同时也需要搭...
【学习笔记】HBASE 完全分布式集群搭建(1)，2024年互联网大厂大数据开发面经总结
最新发布
2401_84181801的博客
04-17 313
此处环境变量文件为自己在 /etc/profile.d/ 目录下创建的 dev_env.sh 文件。如果环境变量在 /etc/profile 中修改了，直接在 /etc/profile 即可。启动habse时，由于hbase依赖于hdfs和zookeeper,所以要先启动hadoop和zookeeper，然后再启动hbase。采用 scp 或者使用 xsync 脚本分发 /opt/module/hbase 至剩下的两个节点。(img-eUQKg3wI-1713357521123)]8 （备注大数据）**
hbase1-简介及环境搭建
王小禾
03-28 129
文章目录简介hbase体系 简介 HBase是Hadoop的生态系统，是建立在Hadoop文件系统（HDFS）之上的分布式、面向列的数据库，通过利用Hadoop的文件系统提供容错能力。如果你需要进行实时读写或者随机访问大规模的数据集的时候，请考虑使用HBase！ 参考：https://wiki.imooc.com/hbase/introduce.html 官网：https://hbase.a...
HBase2.4.8详细教程（一）HBase环境搭建
Java朱老师博客
12-06 3881
        HBase的数据存储在Hadoop上，而ZooKeeper负责HMaster选举与主备切换、系统容错、RootRegion管理、Region状态管理等，所以安装HBase首先需要安装Hadoop和ZooKeeper。         我们本次使用的是CentOS7、Hadoop3.3.6、ZooKeeper3.4.6、HBase2.4
HBase环境搭建与基本使用（保姆级教程）
tangyi2008的专栏
01-20 4566
HBase是一个基于Hadoop的分布式列族数据库，该产品源于Google的《BigTable》论文，它弥补了HDFS不能实时和随机读写等缺陷，支持数十亿行和数据百万列的大表。 本文对HBase做了简单的介绍，并详细介绍了HBase2.x的安装过程和简单使用，希望对您有所帮助。
zookeeper+hbase集群搭建
04-15
在本文中，我们将深入探讨如何搭建一个Zookeeper和HBase集群，以及在过程中可能遇到的常见问题和解决方案。Zookeeper和HBase都是大数据处理领域的关键组件，Zookeeper作为一个分布式协调服务，而HBase是一个基于...
hbase2.0环境搭建
11-22
hbase2.0环境搭建，ubuntu16.04操作系统下安装配置hbase2.0
HBase集群搭建
10-25
HBase集群搭建 HBase是一种分布式、面向列的NoSQL数据库，基于Hadoop...HBase集群搭建需要安装HBase、配置HBase环境变量、配置hbase-env.sh文件、配置hbase-site.xml文件、配置regionservers文件和设置HBase环境变量。
04、Hbase介绍及搭建
小菜菜的博客
06-24 632
HBase是一个分布式的、面向列、非关系型的开源数据库，该技术来源于Fay Chang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。Hadoop是一个高容错、高延时的分布式文件系统和高并发的批处理系统，不适用于提供实时计算； HBase是可以提供实时计算的分布式数据库，数据被保存在HDFS分布式文件系统上HBase HRegion servers集群中的所有的region的数据在服务器启动时都是被打开的，相应的这就在一定程度上加快系统响 应；而Hadoop中的block中的数
初学者小白容易接受的HBase集群搭建（三台）
m0_58046550的博客
11-19 721
搭建HBase集群，依赖hdfs存储，zookeeper协调服务
大数据入门--HBase（一）环境搭建&常见命令
书山有路，学海无涯
07-22 371
集群环境搭建 准备工作 Hbase依赖zookeeper，所以需要先搭建zookeeper，参考此文 Hbase对时间同步要求较高，建议使用ntp做时间同步，参考此文：ntp服务安装 安装 当前安装版本为：hbase-1.3.1 1. 解压安装包 tar -zxvf hbase-1.3.1-bin.tar.gz -C /opt/module/ cd /opt/module/hbase-1.3.1 2.修改配置文件 hbase-env.sh 添加 export JAVA_HOME=/opt/module
HBase 系列（三）—— HBase 基本环境搭建
weixin_30362083的博客
08-24 551
一、安装前置条件说明 1.1 JDK版本说明 HBase 需要依赖 JDK 环境，同时 HBase 2.0+ 以上版本不再支持 JDK 1.7 ，需要安装 JDK 1.8+ 。JDK 安装方式见本仓库： Linux 环境下 JDK 安装 1.2 Standalone模式和伪集群模式的区别 在 Standalone 模式下，所有守护进程都运行在一个 jvm 进程/实例中； 在伪分布模...
nginx mysql gitlab重启方式
勇往直前
03-06 767
nginx重启 nginx -s reload nginx nginx -s stop mariadb版mysql systemctlstartmariadb.service//启动服务 systemctlenablemariadb.service//开机启动服务 gitLab启动 sudo gitlab-ctl start s...
Hadoop+Hdfs+Hbase+Kafka+Zookeeper集群搭建
Boxbiu的博客
12-26 4302
本文详细介绍了基于centos7的Hadoop集群的搭建过程，给出了Hadoop的基础知识和项目搭建的流程，搭建了一个master结点和两个slave结点的Hadoop集群，在master和slave服务器上配置HDFS(hadoop分布式文件系统) ,HBase(集群数据库)，zookeeper(集群维护服务),以及 kafka（消息队列），同时详细给出搭建过程和测试结果，并对搭建过程遇到的bug进行详细的记录
HBase的本地模式的安装和HBase的简单介绍
枣泥馅的博客
04-14 1308
HBase是基于Hdfs的，因为hadoop的本地模式或者是单机模式没有hdfs功能的，所以单机版的HBase数据不能存储在Hdfs上，只能存在linux上，所以单机版的HBase不需要启动Hadoop，单机版Base中只有HMaster HBase的 HBase：基于HDFS之上的NoSQL，存储单点故障 HBase ...
hbase 伪分布式环境搭建
03-30
HBase是一个分布式、可扩展、高性能的NoSQL数据库，它基于Hadoop的HDFS存储数据，并利用Hadoop的MapReduce进行数据处理。下面是在伪分布式环境下搭建HBase的步骤： 1. 安装Hadoop：首先需要安装Hadoop，因为HBase依赖于Hadoop的HDFS。你可以从Hadoop官方网站下载适合你操作系统的二进制包，并按照官方文档进行安装和配置。 2. 配置Hadoop：在Hadoop的配置文件中，需要设置一些参数以支持HBase。主要的配置文件是core-site.xml、hdfs-site.xml和mapred-site.xml。你需要确保Hadoop的配置与你的伪分布式环境相匹配。 3. 安装HBase：下载HBase的二进制包，并解压到你选择的目录中。然后，通过修改HBase的配置文件进行必要的配置。 4. 配置HBase：主要的配置文件是hbase-site.xml。你需要设置HBase的根目录、ZooKeeper的地址等信息。确保HBase的配置与你的伪分布式环境相匹配。 5. 启动Hadoop：启动Hadoop集群，包括HDFS和MapReduce。 6. 启动HBase：使用命令行工具或脚本启动HBase。你可以使用start-hbase.sh脚本启动HBase。 7. 验证HBase：使用HBase的命令行工具或API连接到HBase，并执行一些基本操作来验证HBase是否正常工作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值