centos7-zookeeper3.4.10+hadoop3.2.1+hbase2.3.2

最新推荐文章于 2022-08-26 20:38:42 发布
最新推荐文章于 2022-08-26 20:38:42 发布
阅读量381 收藏 1
点赞数
分类专栏： centos7
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40325516/article/details/109749343
版权

说明：

## hbase和hadoop 版本依赖查看地址

https://hbase.apache.org/book.html#basic.prerequisites

## zookeeper 下载地址

http://mirror.bit.edu.cn/apache/zookeeper/

## hadoop 下载地址

https://mirror.bit.edu.cn/apache/hadoop/common/

## hbase 下载地址

http://mirror.bit.edu.cn/apache/hbase/

在这里插入图片描述

Step1. java安装

如果安装跳过 没有安装请参考安装java文档安装

Step2. zookeeper安装

## 说明
## 安装之前 需要安装java
## 模拟三个zookeeper节点 部署集群 如果需要多个节点 那么相对应修改配置

1. 创建目录

mkdir -p /opt/zookeeper/zookeeper1/data
mkdir -p /opt/zookeeper/zookeeper2/data
mkdir -p /opt/zookeeper/zookeeper3/data
mkdir -p /opt/zookeeper/zookeeper1/datalog
mkdir -p /opt/zookeeper/zookeeper2/datalog
mkdir -p /opt/zookeeper/zookeeper3/datalog

2.解压

tar -xvf  zookeeper-3.4.10.tar.gz -C /opt/zookeeper/zookeeper1/
tar -xvf  zookeeper-3.4.10.tar.gz -C /opt/zookeeper/zookeeper2/
tar -xvf  zookeeper-3.4.10.tar.gz -C /opt/zookeeper/zookeeper3/

3. 创建myid

## 集群 要保证每一个zookeeper的myid不一样 且与接下来配置server1的数组相对应

cd /data/zookeeper/zookeeper1/data/
touch myid
vim myid

## 实例 编辑数字1 当然这个值可以改 但与配置一致即可保存退出
1
:wq 保存退出

cd /data/zookeeper/zookeeper2/data/
touch myid
vim myid

## 实例 编辑数字2 当然这个值可以改 但与配置一致即可保存退出
2
:wq 保存退出

cd /data/zookeeper/zookeeper3/data/
touch myid
vim myid

## 实例 编辑数字3 当然这个值可以改 但与配置一致即可保存退出
3
:wq 保存退出

4. 修改配置zoo.cfg（其他一样 clientPort需要修改）

cp /data/zookeeper/zookeeper1/zookeeper1/conf/zoo_sample.cfg zoo.cfg
cp /data/zookeeper/zookeeper2/zookeeper2/conf/zoo_sample.cfg zoo.cfg
cp /data/zookeeper/zookeeper3/zookeeper3/conf/zoo_sample.cfg zoo.cfg

vim /data/zookeeper/zookeeper1/zookeeper1/conf/zoo.cfg
vim /data/zookeeper/zookeeper2/zookeeper1/conf/zoo.cfg
vim /data/zookeeper/zookeeper3/zookeeper1/conf/zoo.cfg

## 在配置文件中末尾追加
## 这里的server.1的数字就是当前zookeeper节点中myid数字
## servername1 是所在服务机器名称 需要对应修改
## 如果是同一台机器 需要修改端口 需要不一样
## clientPort 如果是同一台机器部署集群 那么需要修改端口
clientPort=1181 ## 其他两台一次为 2181 ， 3181
dataDir=/opt/zookeeper/data
dataLogDir=/opt/zookeeper/datalog
server.1=servername1:2888:3888   
server.2=servername2:4888:5888
server.3=servername3:6888:7888

5. 启动

## 三台机器以此启动
cd /data/zookeeper/zookeeper1/zookeeper1/bin
./zkServer.sh start

cd /data/zookeeper/zookeeper2/zookeeper2/bin
./zkServer.sh start

cd /data/zookeeper/zookeeper3/zookeeper3/bin
./zkServer.sh start

在这里插入图片描述

6. 检测

## 查看三台机器状态 其中会有 follower 和 leader
cd /data/zookeeper/zookeeper3/zookeeper3/bin
./zkServer.sh status

在这里插入图片描述

在这里插入图片描述

Step3. hadoop安装

1. 解压安装包

mkdir -p /opt/hadoop
cd /opt/hadoop
tar -xvf hadoop-3.2.1.tar.gz

2. 创建hadoop依赖目录

mkdir /data/hadoop/tmp
mkdir /data/hadoop/var
mkdir /data/hadoop/dfs
cd /data/hadoop/dfs
mkdir name
mkdir data

3. 修改/etc/profile

vim /etc/profile

#hadoop
export HADOOP_HOME=/opt/hadoop/hadoop-3.2.1
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

4. 修改core-site.xml配置文件

cd /opt/hadoop/hadoop-3.2.1/etc/hadoop
vim core-site.xml

## 在<configuration>节点内加入配置
 <property>

        <name>hadoop.tmp.dir</name>

        <value>/data/hadoop/tmp</value>

        <description>Abase for other temporary directories.</description>

   </property>

   <property>

        <name>fs.default.name</name>

        <value>hdfs://localhost:9000</value>
        
   </property>
   <property>

        <name>ha.zookeeper.quorum</name>

        <value>localhost:1181,localhost:2181,localhost:3181</value>

   </property>

## </configuration>

5. 修改hadoop-env.sh

vim hadoop-env.sh

## 去掉注释# 更改自己jdk路径
export JAVA_HOME=/usr/local/lib/jdk1.8.0_131

在这里插入图片描述

6. 修改hdfs-site.xml

vim hdfs-site.xml

## 在<configuration>节点内加入配置
<property>

   <name>dfs.name.dir</name>

   <value>/data/hadoop/dfs/name</value>

   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>

</property>

<property>

   <name>dfs.data.dir</name>

   <value>/data/hadoop/dfs/data</value>

   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>

</property>

<property>

   <name>dfs.replication</name>

   <value>1</value>   ## 如果是多台机器 配置副本数量 默认配置3

</property>

<property>

      <name>dfs.permissions</name>

      <value>false</value>

      <description>need not permissions</description>

</property>
## </configuration>

7. 修改 mapred-site.xml

vim mapred-site.xml

## 在<configuration>节点内加入配置
 <property>

    <name>mapred.job.tracker</name>

    <value>localhost:49001</value>

 </property>

 <property>

      <name>mapred.local.dir</name>

       <value>/data/hadoop/var</value>

 </property>

 <property>

       <name>mapreduce.framework.name</name>

       <value>yarn</value>

 </property>

## </configuration>

8.修改yarn-site.xml文件

vim yarn-site.xml

## 在<configuration>节点内加入配置(注意了，内存根据机器配置越大越好)
 <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>localhost</value>

 </property>

 <property>

        <description>The address of the applications manager interface in the RM.</description>

        <name>yarn.resourcemanager.address</name>

        <value>${yarn.resourcemanager.hostname}:8032</value>

 </property>
 
 <property>

        <description>The address of the scheduler interface.</description>

        <name>yarn.resourcemanager.scheduler.address</name>

        <value>${yarn.resourcemanager.hostname}:8030</value>

 </property>

  <property>

        <description>The http address of the RM web application.</description>

        <name>yarn.resourcemanager.webapp.address</name>

        <value>${yarn.resourcemanager.hostname}:8088</value>

  </property> 

  <property>

        <description>The https adddress of the RM web application.</description>

        <name>yarn.resourcemanager.webapp.https.address</name>

        <value>${yarn.resourcemanager.hostname}:8090</value>

   </property>

    <property>

        <name>yarn.resourcemanager.resource-tracker.address</name>

        <value>${yarn.resourcemanager.hostname}:8031</value>

   </property>

  <property>

        <description>The address of the RM admin interface.</description>

        <name>yarn.resourcemanager.admin.address</name>

        <value>${yarn.resourcemanager.hostname}:8033</value>

   </property>

   <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

   </property>

   <property>

        <name>yarn.scheduler.maximum-allocation-mb</name>

        <value>2048</value>

        <discription>每个节点可用内存,单位MB,默认8182MB</discription>

   </property> 

  <property>

        <name>yarn.nodemanager.vmem-pmem-ratio</name>

        <value>2.1</value>

   </property>

   <property>

        <name>yarn.nodemanager.resource.memory-mb</name>

        <value>2048</value>

   </property>

## </configuration>

9. 启动

1. 在namenode执行初始化

##  因为hserver1是namenode，hserver2和hserver3都是datanode，所以只需要对hserver1进行初始化操作，也就是对hdfs进行格式化。进入到hserver1这台机器的/opt/hadoop/hadoop-2.8.0/bin目录，也就是执行命令：

cd /opt/hadoop/hadoop-3.2.1/bin
./hadoop namenode -fomat

 格式化成功后，可以在看到在/data/hadoop/dfs/name/目录多了一个current目录，而且该目录内有一系列文件

在这里插入图片描述

2. 在namenode 执行启动命令

cd /opt/hadoop/hadoop-3.2.1/sbin
./start-all.sh

3. 注意

1. 错误如下

在这里插入图片描述

## 解决方案 
在/opt/hadoop/hadoop-3.2.1/sbin目录下的 start-dfs.sh   stop-dfs.sh 文件开始处添加如下

在这里插入图片描述

## 解决方案 
在/opt/hadoop/hadoop-3.2.1/sbin目录下的 start-yarn.sh   stop-yarn.sh 文件开始处添加如下

在这里插入图片描述

2. 如果提示权限不足

在这里插入图片描述

##解决方法

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/authorized_keys

##验证
ssh localhost

10. 检测

## 可能需要关闭防火墙

9000端口出现
本地电脑访问 http://192.168.31.14:8080/

Step4. hbase安装

1. 解压

cd /opt/hbase
tar -xvf hbase-2.3.2-bin.tar.gz

2.修改环境变量配置

vim /etc/profile

ZK_HOME=/opt/zookeeper/zookeeper-3.4.10
HBASE_HOME=/opt/hbase/hbase-2.3.2
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$ZK_HOME/bin

source /etc/profile

3. 创建依赖目录

cd /opt/hbase
mkdir tmp
mkdir pids

4.修改hbase-env.sh

cd /opt/hbase/hbase-2.3.2/conf
vim hbase-env.sh

export JAVA_HOME=/usr/local/lib/jdk1.8.0_131
export HADOOP_HOME=/opt/hadoop/hadoop-3.2.1
export HBASE_HOME=/opt/hbase/hbase-2.3.2
#Extra Java CLASSPATH elements.  Optional.
export HBASE_CLASSPATH=/opt/hadoop/hadoop-3.2.1/etc/hadoop
export HBASE_PID_DIR=/data/hbase/pids
export HBASE_MANAGES_ZK=false

5. 修改hbase-site.xml

vim hbase-site.xml

##  在<configuration>节点内增加以下配置
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
  <property>
    <name>hbase.tmp.dir</name>
    <value>/data/hbase/tmp</value>
  </property>
  <property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
  </property>

  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://localhost:9000/hbase</value>
    <description>The directory shared byregion servers.</description>
  </property>

  <property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2181</value>
    <description>Property from ZooKeeper'sconfig zoo.cfg. The port at which the clients will connect.
    </description>
  </property>

  <property>
    <name>zookeeper.session.timeout</name>
    <value>120000</value>
  </property>

  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>localhost:1181,localhost:2181,localhost:3181</value>
  </property>
## </configuration>

6.修改regionservers

vim regionservers

localhost

7.启动

 Hbase是基于hadoop提供的分布式文件系统的，所以启动Hbase之前，先确保hadoop在正常运行，另外Hbase还依赖于zookkeeper，本来我们可以用hbase自带的zookeeper，但是我们上面的配置启用的是我们自己的zookeeper集群，所以在启动hbase前，还要确保zokeeper已经正常运行。

       Hbase可以只在hadoop的某个namenode节点上安装，也可以在所有的hadoop节点上安装，但是启动的时候只需要在一个节点上启动就行了，本例中，我在hserver1、hserver2、hserver3都安装了Hbase，启动的时候只需要在hserver1上启动就OK。

cd /opt/hbase/hbase-2.3.2
./start-hbase.sh

在这里插入图片描述

8.检测

jps

在这里插入图片描述

cd /opt/hbase/hbase-2.3.2/bin
./hbase shell

在这里插入图片描述

## 输入 status

在这里插入图片描述

心若留念
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hbase、zookeeper及hadoop部署
Royce Wang专栏
07-12 5133
引自  http://hi.baidu.com/dekar/blog/item/f5c034efcf080e5778f055a6.html一 机器192.168.0.203 hd203： hadoop namenode & hbase HMaster192.168.0.204 h
hadoop、hbase、hive、zookeeper版本对应关系续(最新版)（2015）
12-01
hadoop、hbase、hive、zookeeper版本对应关系续(最新版)
ElasticSearch7.6.1和Kibana安装以及es head插件安装
yb创作中心
09-04 496
1.ElasticSearch7.6.1及其配套使用组件安装 1.es安装 1.使用华为镜像下载速度非常快，下载后解压即可: https://mirrors.huaweicloud.com/elasticsearch/7.6.1/?C=N&O=D bin 启动文件 config 配置文件 log4j2.properties 日志配置文件 jvm.options java 虚拟机相关配置 elasticsearch.yml elasticsearch的配置文件,默认9200端口，跨域 lib:相关
ElasticSearch7.6.2学习记录（一）安装ES，Head，Kibana
qq_38360901的博客
04-26 732
一、什么是ElasticSearch Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。Elasticsearch用于云计算中，能够达到近实时搜索，稳定，可靠，快速 Elasticsearc...
Elasticsearch7.6.2（目前最新版本）集群搭建及Head插件——最详细安装及配置
D_Janrry的博客
04-12 7917
个人环境 1.Centos7.4（三台） 2.elasticsearch-7.6.2 1.环境初始化 大体配置就是如此，只不过我的主机ip不同 #关闭防火墙 systemctl stop firewalld systemctl disable firewalld sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config...
hadoop-3.2.1+zookeeper+3.6.3+CentOS7 HA安装部署
weixin_45193032的博客
03-12 334
hadoop-3.2.1+zookeeper+3.6.3+CentOS7 HA安装部署 开始先说注意事项： 1、配置文件中所涉及到的文件目录都根据自己的实际情况来。 2、所有的文件夹或文件都必须属于操作的这个用户，不然不能创建文件或者文件夹会报错。 3、所有的配置文件中都不能有中文，包括注释。 4、我的目录结构，所有东西都放在/home/hadoop/software下的。 5、坑太多，我们砥砺前行，如有什么问题可以评论一起解决哦。 节点设计 节点 NameNode DataNode resourc
Centos 7 zookeeper 3.1.4 + hadoop 3.1.2+Hbase 2.1.3完全分布式+高可用（HA）
01-07
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。...Zookeeper (QuorumPeerMain)   NameNode Resource Manager   DFSZK Failover Controller
Docker(Hadoop-3.3.1+HBase-2.4.16+Zookeeper-3.7.1+Hive-3.1.3)配置文件
03-21
Docker(Hadoop_3.3.1+HBase_2.4.16+Zookeeper_3.7.1+Hive_3.1.3 )配置文件 搭建集群环境
集群环境搭建-Centos+kafka+zookeeper+hadoop+Spark
12-19
通过VirtualBox安装多台虚拟机，实现集群环境搭建。 优势：一台电脑即可。 应用场景：测试，学习。...内附百度网盘下载地址，有hadoop+zookeeper+spark+kafka等等·····需要的安装包和配置文件
centos7 x86-64 libstdc++.so.6.0.30
09-09
centos7 x86-64 libstdc++.so.6.0.30
大数据（hadoop+spark+hbase+zookeeper+kafka+scala+ambari）全套视频教程（花3000￥买的）
06-24
大数据 hadoop spark hbase ambari全套视频教程（购买的付费视频）
Centos7.4+zookeeper3.5.8 + hadoop3.2.1+Hbase2.2.5完全分布式+高可用（HA）完全分布式集群搭建
peng_s_w的专栏
10-24 1457
本文档详细描述了Centos7.4+zookeeper3.5.8 + hadoop3.2.1+Hbase2.2.5完全分布式+高可用（HA）集群的搭建过程，以及验证等操作使用方法。 hadoop高可用完全分布式集群搭建 Centos7.4+zookeeper3.5.8 + hadoop3.2.1+Hbase2.2.5完全分布式+高可用（HA） 服务器环境准备 主机列表 主机IP 主机名 配置 操作系统 安装软件 运行进程 192.168.26.100 hd100 2C 4G CentO
Elasticsearch-6.7.0下安装head插件
野有蔓兮的博客
04-06 1618
Elasticsearch-6.7.0下安装head插件 安装node.js https://www.jianshu.com/p/03a76b2e7e00 安装grunt npm install -g grunt-cli 进入root目录，不然会出现：‘grunt’ 不是内部或外部命令，也不是可运行的程序 或批处理文件。 下载Head插件 https://github.com...
浅练ES入门&&工具Kibana&&head的使用&&IK分词器应用
Javashj的博客
08-26 866
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考免费且开放的搜索：Elasticsearch、ELK 和 Kibana 的开发者 | Elastic如果要让分词器支持一些专有词语，可以自定义词库。iK分词器自带的main.dic的文件为扩展词典，stopword.dic为停用词典。先把这三个文件拿到Windows桌面，再进行修改xml文件，把另外两个文件名家后缀名加上即可。...
docker安装elasticsearch7.6.1、elasticsearch-head
qq_28834355的博客
08-15 1613
拉取镜像 docker pull elasticsearch:7.6.1
docker方式部署带用户权限管理的elasticsearch集群和kibana
guan0005的博客
01-04 4582
docker方式部署elasticsearch集群和kibana 一、部署环境 服务器： IP地址 操作系统 192.168.241.11 CentOs7-1804 192.168.241.12 CentOs7-1611 192.168.241.13 CentOs7-1804 docker版本：18.03.1-ce, build 9ee9f40及1.13.1, buil...
ElasticSearch7索引管理--配置（基于kibana）
AnY11的专栏
05-05 941
获取索引配置 GET secisland3/_settings 更新索引配置 PUT secisland3/_settings { "index": { "number_of_replicas":0 } } 更新分词器 创建索引之后可以添加新的分词器，添加分析器之前必须先关闭索引，添加之后再打开索引。 POST secisland3/_close PUT sec...
Elasticsearch + elasticsearch-head + kibana配置
weixin_44257866的博客
07-08 256
Elasticsearch教程 1.配置java环境 2.配置elasticsearch 2.1下载elasticsearch.rtf 在gitee下载 elasticsearch.rtf 该版本已配置许多插件，适合新手使用。 https://gitee.com/wang3960/elasticsearch-rtf 2.2 启动elasticsearch cmd进入elasticsearch bin目录 D:\wang3960-elasticsearch-rtf-master\elasticsearch-r
centos7中java8+mysql80+hadoop3.2.4集群+hive3.1.2从0开始搭建（仅供参考）
最新发布
05-03
本文将详细介绍如何在CentOS 7环境中从零开始搭建Java 8、MySQL 8.0、Hadoop 3.2.4集群以及Hive 3.1.2的安装过程。首先，我们明确了基础环境，包括使用VMware作为虚拟化平台，它允许用户在一台物理机上创建和管理多...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值