Centos7 Hadoop Hdfs Hbase 分布式安装（超详细建议收藏）

已于 2022-10-27 20:11:38 修改
阅读量1.5k 收藏 9
点赞数 1
分类专栏： Hbase 文章标签： 大数据 hbase
于 2020-06-02 16:52:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BoomLee/article/details/106496902
版权

1.虚拟机配置

192.168.10.1 hbase-01
192.168.10.2 hbase-02
192.168.10.3 hbase-03

2.基本环境

  • JDK 1.8+
  • Maven 3.5+ （可选）
  • Git（可选）

Hbase 下载地址 https://hbase.apache.org/downloads.html

3.基本配置

1.修改/etc/hosts 文件，添加以下主机信息
192.168.10.1	hbase-01
192.168.10.2	hbase-02
192.168.10.3	hbase-03
2.SSH 配置

测试环境首先要关闭防火墙，或添加防火墙规则，我选择关闭防火墙。

systemctl disable firewalld.service

分别在 Hbase-01 Hbase-02 Hbase-03 上执行，一直回车就好，生成秘钥

ssh-keygen -t rsa

操作Hbase-01 ，将公钥传给 Hbase-01 (自己)，Hbase-02，Hbase-03。
Hbase-02 Hbase-03 都要操作，保持三台机器互相免密登录。

scp ~/.ssh/id_rsa.pub root@192.168.10.1:~/.ssh/authorized_keys
scp ~/.ssh/id_rsa.pub root@192.168.10.2:~/.ssh/authorized_keys
scp ~/.ssh/id_rsa.pub root@192.168.10.3:~/.ssh/authorized_keys

节点多的话，可以使用以下命令。

for i in {1..3};do scp -r ~/.ssh/id_rsa.pub root@192.168.10.$i:~/.ssh/authorized_keys;done

现在Hbase-01 连接另外两台服务器，就不需要秘钥了。

A 主机 如果操作 B 主机 ，就要把 A 主机 的公钥传给 B 主机。

3.同步时间
yum -y install ntpdate
ntpdate cn.pool.ntp.org
4.关闭 SELinux ,将 SELINUX= enforcing 更改为 disabled，并重启
vim /etc/selinux/config

在这里插入图片描述
注意：一定要更改正确，否则无法重启！

4.安装配置Hadoop

由于作者使用Geomesa,Hbase 版本号选择1.4.x ,故Hadoop 选择2.7.7，才能完美兼容.

4.1 下载Hadoop 到 /opt/ 目录下 (Hbase-01上一台下载就可)
wget http://archive.apache.org/dist/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

解压

tar -xvf hadoop-2.7.7.tar.gz
4.2 修改配置文件 hadoop-env.sh 配置 hadoop 环境变量

/opt/hadoop-2.7.7/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/opt/jdk/jdk1.8.0_221
export HADOOP_HOME=/opt/hadoop-2.7.7
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
4.3 core-site.xml 配置HDFS
<configuration>
    <!-- 指定HDFS默认（namenode）的通信地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hbase-01:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/hadoop/tmp</value>
    </property>
</configuration>

mkdir /data/hadoop
4.4 hdfs-site.xml 配置namenode
<configuration>
    <!-- 设置namenode的http通讯地址 -->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>hbase-01:50070</value>
    </property>
    <!-- 设置secondarynamenode的http通讯地址 -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hbase-02:50090</value>
    </property>
    <!-- 设置namenode存放的路径 -->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/data/hadoop/name</value>
    </property>
    <!-- 设置hdfs副本数量 -->
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <!-- 设置datanode存放的路径 -->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/data/hadoop/datanode</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>
4.5 mapred-site.xml 配置框架
cp mapred-site.xml.template mapred-site.xml

<configuration>
    <!-- 通知框架MR使用YARN -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.application.classpath</name>
        <value>
        /opt/hadoop-2.7.7/etc/hadoop,
        /opt/hadoop-2.7.7/share/hadoop/common/*,
        /opt/hadoop-2.7.7/share/hadoop/common/lib/*,
        /opt/hadoop-2.7.7/share/hadoop/hdfs/*,
		/opt/hadoop-2.7.7/share/hadoop/hdfs/lib/*,
        /opt/hadoop-2.7.7/share/hadoop/mapreduce/*,
        /opt/hadoop-2.7.7/share/hadoop/mapreduce/lib/*,
        /opt/hadoop-2.7.7/share/hadoop/yarn/*,
        /opt/hadoop-2.7.7/share/hadoop/yarn/lib/*
        </value>
    </property>
</configuration>
4.6 yarn-site.xml 配置resourcemanager
<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hbase-01</value>
    </property>
 
    <property>
        <description>The http address of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>${yarn.resourcemanager.hostname}:8088</value>
    </property>
 
    <property>
        <description>The address of the applications manager interface in the RM.</description>
        <name>yarn.resourcemanager.address</name>
        <value>${yarn.resourcemanager.hostname}:8032</value>
    </property>
 
    <property>
        <description>The address of the scheduler interface.</description>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>${yarn.resourcemanager.hostname}:8030</value>
    </property>
 
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>${yarn.resourcemanager.hostname}:8031</value>
    </property>
 
    <property>
        <description>The address of the RM admin interface.</description>
        <name>yarn.resourcemanager.admin.address</name>
        <value>${yarn.resourcemanager.hostname}:8033</value>
    </property>
</configuration>
4.7 修改 Slaves
hbase-02
hbase-03
4.8 配置环境变量

vim /etc/profile.d/hadoop.sh

export HADOOP_HOME=/opt/hadoop-2.7.7
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

生效

source /etc/profile.d/hadoop.sh

剩余机器可将hadoop.sh 复制，并使用 source 使环境变量生效。

4.9 集群初始化
1. 首次启动需要 初始化HDFS
hdfs namenode -format

出现以下日志，则表示成功。
在这里插入图片描述
第二次启动，配置好 Hadoop 环境变量

start-dfs.sh
2.启动YARN
start-yarn.sh

验证 (再次提醒，防火墙一定要放开端口或直接关闭)
windows 主机访问网页时，应在windows hosts 上加主机名ip 映射，或者直接访问
http://hbase-02:8088/
http://hbase-01:50070/

jps 命令查看Linux 主机
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

到这里，Hadoop 集群就已经搭建成功了！！！！！！！！

5. Hbase 部署

工作需要，作者需要用的Hbase 版本为 1.4.x

5.1 下载解压
wget https://mirror.bit.edu.cn/apache/hbase/1.4.13/hbase-1.4.13-bin.tar.gz

tar -xvf hbase-1.4.13-bin.tar.gz
5.2 配置 Hbase 环境变量

/opt/hbase-1.4.13/conf 目录下修改 hbase-env.sh 添加

export JAVA_HOME=/opt/jdk/jdk1.8.0_221
export HBASE_CLASSPATH=/opt/hbase-1.4.13
5.3 hbase-site.xml 配置hbase

1.创建文件夹

mkdir -p /data/hbase/zookeeper
mkdir -p /data/hbase/tmp

2.修改配置文件

<configuration>
 <property>
    <name>hbase.rootdir</name>
    <!-- hbase存放数据目录 -->
    <value>hdfs://hbase-01:9000/hbase</value>
  </property>
  <property>
    <name>hbase.cluster.distributed</name>
     <!-- 是否分布式部署 -->
    <value>true</value>
  </property>   
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>hbase-01,hbase-02,hbase-03</value>
  </property>
    <property>
    <name>hbase.tmp.dir</name>
    <value>/data/hbase/tmp</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/data/hbase/zookeeper/data</value>
  </property>
 
</configuration>

3.指定集群节点

hbase-01
hbase-02
hbase-03

4.将 Hbase 文件夹 复制到另外两台服务器

6. hbase-site.xml 配置hbase

只需要在hbase-01 上启动即可

1.启动

start-hbase.sh

2.验证
jps 命令查看
HQuorumPeer # zookeeper进程
HMaster # hbase master进程
HRegionServer # hbase slave进程
3.查看Hbase 状态
http://hbase-01:16010

在这里插入图片描述

https://www.cnblogs.com/dengbingbing/p/12200281.html

BoomLee
关注
  • 1
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
centOS7在Hadoop2.10下安装分布式Hbase
qq_35444549的博客
08-22 414
一、启动集群HADOOP和ZK 二、下载Hbase安装包：网址（注意看一下hadoop与Hbase的版本哈，需匹配） https://mirror.bit.edu.cn/apache/hbase/2.2.5/hbase-2.2.5-bin.tar.gz 直接WGET或者下载到本地上传服务器都可 三、解压：tar -zxvf hbase-2.2.5-bin.tar 四、完成后进入配置环节：进入hbase安装目录下的conf 注：我是将已解压好的文件MV成好写一点的名字，如hbase 1.配置hbase-env
centOS安装hbase（完全分布式）
OwnYoung的博客
12-24 1493
一、准备 1.hadoop已经安装 我是三台虚拟机hadoop102、hadoop103、hadoop104 2.zookeeper已经安装 ##二、 zookeeper安装 安装文件apche-zookeeper-bin.tar.gz（看清楚是带bin的！！） 清华源下载 # 解压 tar zxvf apche-zookeeper-bin-***.tar.gz -C /opt/module/ # 改名 mv zookeeper-版本号 zookeeper # 改掉zookeeper的conf文件名，因为z
centos7 安装 hbase单机版
01-20
首先下载hbase安装包 wget http://mirror.bit.edu.cn/apache/hbase/stable/hbase-2.2.3-bin.tar.gz 解压压缩包 tar -zxvf hbase-2.2.3-bin.tar.gz 修改/opt/hbase-2.2.3/conf/hbse-env.sh文件 第一步 设置javahome export JAVA_HOME=/usr/local/java/jdk1.8.0_144 第二部 设置zookeeper选择 为true为hbase自带zookeeper ，false为自己部署的zookeeper export H
centos7安装配置HDFS（Hadoop2.9.2）
qq_31736553的博客
04-02 698
一、集群准备 1.修改主机名 [root@bogon ~]# vi /etc/hostname master...
在Centos7中安装Hadoop详细教程
最新发布
weixin_42732268的博客
07-16 1099
在末端添加以下代码，如果跟我路径一致，可直接复制，不一样的话，要注意自己安装路径，即上面上传解压的路径。第一个property中的Value:hdfs://zhang:9000/，修改主机名，比如我的主机名为zhang,端口号9000是固定的，特别注意下 主机名，可以使用。第二个property中的Value:hadoop的安装路径，opt/server/hadoop-2.8.0/data/，数据存储在data文件夹里。在配置文件夹/opt/server/hadoop-2.8.0/etc/hadoop/
大数据课程——安装HDFS系统——第一步：安装centos虚拟机
m0_55704585的博客
04-21 5446
——本教程是一个系列教程，会详细的讲述自己配置HDFS集群系统的步骤 第一步：明白HDFS 一、HDFS的概念 HDFS：Hadoop Distributed File System Hadoop 分布式文件系统，主要用来解决海量数据的存储问题 设计思想：分而治之，即将大文件，大批量文件，分布式的存放于大量服务器上。以便于采取分而治之的方式对海量数据进行运算分析。 二、一个HDFS个人怎样搭建 学习HDFS，首先需要一个可运行的HDFS集群，而搭建一个HDFS集群，则需要准备多台Linux服务
centos7 安装hbase 2.1.0
热门推荐
专注于Java架构学习 https://gitee.com/laokouyun https://github.com/KouShenhai
10-24 2万+
小伙伴们，你们好，我是老寇 hbase安装包：https://pan.baidu.com/s/1swrV9ffJnmz4S0mfkuBbIw 提取码：1111 一、前提条件 centos7 安装hadoop 2.7.6 centos7 安装zookeeper 3.4.6 二、安装过程 解压（放在/opt） tar -zxvf hbase-2.1.0-bin.tar.gz 移动文件 mv hbase-2.1.0 /usr/local/hbase 创建文件夹 mkdir -p /d.
4. CentOS 7 安装 HBase
博客简介
04-24 2746
1. HBase 本文安装 2.2.2版本,由于 HBase 版本依赖性强，所以安装 HBase 2.2.2 时,一定要安装 Hadoop 3.1.3。 Hadoop 3.1.3 安装详解:https://blog.csdn.net/qq_53715214/article/details/123936801?spm=1001.2014.3001.5502 HBase 官网: http://archive.apache.org/dist/hbase/ 本地机通过官网找到并下载 HBase 2.2.2
centos7搭建hadoop2.9.2完全分布式+zookeeper部署+hbase部署
愿与你一起深度技术交流
06-16 1569
目录一、Hadoop完全分布式集群搭建部署1、配置静态IP2、关闭防火墙3、修改hostname 及 hosts映射4、创建Hadoop账号5、配置SSH6、安装jdk7、修改时区8、安装Hadoop9、配置Hadoop文件10、主机ping通centos11、启动hadoop进程可能遇到的问题：二、Zookeeper安装部署1、环境变量配置2、配置zoo.cfg文件3、创建myid文件4、启动三、Hbase安装部署1、首先解压重命名配置环境变量2、编辑hbase-env.sh文件3、编辑hbase-sit
基于centos7的hadoop、hbase集安装群部署.zip
03-13
本文将深入探讨如何在基于CentOS 7的操作系统上，使用Ansible自动化工具来安装和部署Hadoop及HBase集群。 首先，让我们了解Hadoop的核心组件。Hadoop由两个主要部分组成：Hadoop Distributed File System (HDFS) 和...
CentOS下Hadoop+Hbase+ZooKeeper分布式存储部署详解
02-08
本篇将详细介绍如何在CentOS 6.5 x86_64环境下搭建Hadoop 2.2.0版本，并结合HBase和ZooKeeper构建完整的分布式存储解决方案。HBase是一种基于Hadoop的非关系型数据库，提供高可靠性、高性能、面向列的数据存储服务；...
CentOS安装HDFS伪分布式环境（单机）
AlphaCat的博客
09-30 254
本文主要是HDFS伪分布式环境搭建 的补充，可以直接查看原文，如果有无法解决的问题，可以回来本文看是否符合自己的情况 下载Hadoop 2.6.0-cdh5.7.0的tar.gz包并解压： [root@localhost ~]# cd /usr/local/src/ [root@localhost /usr/local/src]# wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz [root@localhost
CentOS7下安装使用HBase
四国棋客
07-12 1360
目录 背景 数据结构 安装 启动hadoop、kafka、ZooKeeper 解压hbase压缩包 配置HBase 启动hbase 关闭hbase 进入hbase命令行 命令 创建表，指定列族 插入数据，指定行键、列族限定符和值 扫描表 获取单行数据 删除数据(单元格) 禁用并删除表 让表支持多版本数据 与hive集成 与pig集成 行键设计原则 长度原则 唯一原则 散列原则 协处理器的使用 结语 背景 记录下HBase在CentOS7下的安装过程，请事
01 在CentOS7中安装hbase
张力的程序园
06-04 129
hbase是面向列的数据库，具有极其强劲的性能。本文将阐述hbase的单机安装。 1 系统、软件以及前提约束 CentOS 7 64 工作站 作者的机子ip是192.168.100.200，请读者根据自己实际情况设置 jdk1.8.0_162 已经安装完毕，并配置环境变量，作者的环境变量为/root/jdk1.8.0_162，请读者根据自己实际情况设置 jdk安装 https:/...
大数据hdfs安装基础步骤(centos系列)
weixin_43813200的博客
10-24 268
yum 安装ping yum install iputils -y 安装jdk 启动zookeeper zkServer.sh start 查看zookeeper状态 zkServer.sh status hdfs name节点规则话 hdfs namenode -format 启动hdfs start-dfs.sh 验证时间同步 ntpdate cn.ntp.org.cn 缺失时间同步方法安装 yum install -y ntp 免密操作 ssh-keyge.
Hadoop大数据篇章（第一篇章：CentOS7搭建 单机版本 HDFS分布式存储平台）
qq1020654861的博客
06-09 297
最近太过于项目开发，就很少发布帖子更新技术以及BUG解决方案了。。。靠 接下来的时间抽空给大家整点干货 、干货 、干货 重要的事情说三遍。还是记不住的话，我就将
centos7虚拟机搭建hdfs集群
u010783161的博客
12-29 523
采用VMware安装虚拟机，具体安装过程，centos镜像下载、虚拟机网络配置等环节省略.... hdfs角色-节点规划如下： 角色-节点规划 节点 节点IP NameNode DataNode NameSecondary node1 192.168.17.191 * node2 192.168.17.1...
CentOS7安装Hbase完整教程
weixin_55076626的博客
04-07 3047
1.解压hbase安装包 tar -zxf hbase-1.2.0-cdh5.14.2.tar.gz 2.移动hbase到soft/hbase120 mv hbase-1.2.0-cdh5.14.2 soft/hbase120 3.进入soft/hbase120/conf/ cd soft/hbase120/conf/ 4.修改hbase-env.sh vim hbase-env.sh 4.1.取消JAVA_HOME和HBASE_MANAGES_ZK前的#，并修改 export
CentOS下HDFS伪分布式搭建
hjy1821的博客
10-09 327
(1) 配置免密登录 node01-&gt;node01 ① ssh-keygen -t rsa （此处一路回车即可） ② ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01 (2) 配置JDK 再次之前先检查系统中是否有已安装好的jdk：java -version 若以后jkd版本要先卸载掉，方法参照： https://www.cnblogs.com/...
CentOS上Hadoop HDFS与HBase部署教程
本篇文章主要介绍了如何在CentOS系统上部署Hadoop HDFS和HBase，作者基于之前在Ubuntu环境下的部署经验进行了调整。首先，我们来看一下Hadoop的部署： 1. **Hadoop 3.1.3 安装**: 在CentOS服务器上，作者首先从...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值