大数据分布式集群环境搭建详细步骤（Zookeeper，Hadoop安装与配置）

最新推荐文章于 2024-05-12 06:57:31 发布
最新推荐文章于 2024-05-12 06:57:31 发布
阅读量1k 收藏 16
点赞数 1
分类专栏： 大数据 文章标签： 大数据 hadoop 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZFX008/article/details/108109520
版权

大数据分布式集群环境搭建详细步骤（Zookeeper，Hadoop安装与配置）

前言：前面我们完成了Linux系统的安装及网络配置，接下来我们将完成Zookeeper和Hadoop的安装与配置。

步骤详解

系统说明

节点ip
master192.168.83.101
slave1192.168.83.102
slave2192.168.83.103

节点配置

1、修改每个节点主机名，重启生效

# 在其他两个子节点的hostname处分别填slave1和slave2
[root@master ~]# vi /etc/hostname
master

2、添加各节点映射

# 三个节点均执行
[root@localhost ~]# vi /etc/hosts
192.168.83.101 master
192.168.83.102 slave1
192.168.83.103 slave2

3、关闭防火墙，重启生效

# 三个节点均执行
[root@master ~]# vi /etc/selinux/config
SELINUX=disabled
[root@master ~]# systemctl stop firewalld
[root@master ~]# systemctl disable firewalld
[root@master ~]# systemctl status firewalld

4、时间同步
首先在时间同步之前确认是否有网络连接，在有网络的情况下执行。要保证设置主机时间准确，每台机器时区必须一致。实验中我们需要同步网络时间，因此要首先选择一样的时区。先确保时区一样，否则同步以后时间也是有时区差。

[root@master ~]# tzselect
# 然后用数字选择时区，这里选择北京时间
故顺序为 5  9  1  1

由于hadoop集群对时间要求很高，所以集群内主机要经常同步。我们使用ntp进行时间同步，master作为ntp服务器，其余的当做ntp客户端。

# 三台机器均安装
[root@master ~]# yum -y install ntp

master作为ntp服务器，修改ntp配置文件

# master上执行
[root@master ~]# vi /etc/ntp.conf
server  127.127.1.0               # local clock
fudge   127.127.1.0   stratum 10   #stratum设置为其它值也是可以的，其范围为0~15

重启ntp服务

# master上执行
[root@master ~]# systemctl restart ntpd.service

等待三分钟，再到slave1和slave2节点同步时间

[root@slave1 ~]# ntpdate master

5、配置ssh免密登录

Hadoop集群的各个结点之间需要进行数据的访问，被访问的结点对于访问用户结点的可靠性必须进行验证，Hadoop采用的是ssh的方法通过密钥验证及数据加解密的方式进行远程安全登录操作，当然，如果Hadoop对每个结点的访问均需要进行验证，其效率将会大大降低，所以才需要配置SSH免密码的方法直接远程连入被访问结点，这样将大大提高访问效率。

[root@master ~]# ssh-keygen -t rsa
# 遇到提示一路回车即可

# 拷贝本密钥到三个节点上
[root@master ~]# ssh-copy-id master
[root@master ~]# ssh-copy-id slave1
[root@master ~]# ssh-copy-id slave2
# slave1和slave2节点重复上述操作

测试免密登录是否成功

[root@master ~]# ssh slave1
# 登陆成功就会有显示
[root@slave1 ~]# exit
# 登出slave1
[root@master ~]# ssh slave2

6、安装JDK

# 我们把所有的环境配置包都放到master的/opt/soft下面
[root@master ~]# cd /opt/soft/
[root@master soft]# mkdir -p /usr/java
[root@master soft]# tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/java/

# 配置环境变量(三台机器)
[root@master soft]# vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_171
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

# 使环境变量生效（三台机器）
[root@master soft]# source /etc/profile

# 在master节点操作成功后可以使用远程复制命令将JDK远程复制到slave1和slave2节点在中（此命令在master中操作）
[root@master soft]# scp -r /usr/java root@slave1:/usr/
[root@master soft]# scp -r /usr/java root@slave2:/usr/

#验证JDK是否安装成功（三台机器）
[root@master soft]# java -version
java version "1.8.0_171"
Java(TM) SE Runtime Environment (build 1.8.0_171-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.171-b11, mixed mode)

安装Zookeeper

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。
1、创建zookeeper安装目录并解压

# 修改主机映射（三台机器）
[root@master soft]# vi /etc/hosts
192.168.83.101 master master.root
192.168.83.102 slave1 slave1.root
192.168.83.103 slave2 slave2.root

# 创建Zookeeper目录并解压Zookeeper
[root@master ~]# mkdir -p /usr/zookeeper
[root@master ~]# tar -zxvf /opt/soft/zookeeper-3.4.10.tar.gz -C /usr/zookeeper/

2、配置zoo.cfg文件

[root@master ~]# cd /usr/zookeeper/zookeeper-3.4.10/conf/
[root@master conf]# cp zoo_sample.cfg zoo.cfg
[root@master conf]# vi zoo.cfg 
dataDir=/usr/zookeeper/zookeeper-3.4.10/zkdata
dataLogDir=/usr/zookeeper/zookeeper-3.4.10/zkdatalog
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

3、配置myid文件

[root@master zookeeper-3.4.10]# mkdir zkdata
[root@master zookeeper-3.4.10]# mkdir zkdatalog
[root@master zookeeper-3.4.10]# cd zkdata
[root@master zkdata]# vi myid
1

4、配置其它两个节点

[root@master zkdata]# scp -r /usr/zookeeper root@slave1:/usr/
[root@master zkdata]# scp -r /usr/zookeeper root@slave2:/usr/
# 注意将slave1和slave2的myid分别替换为2和3

5、配置环境变量（三台机器）

[root@master zkdata]# vi /etc/profile
#set zookeeper environment
export ZOOKEEPER_HOME=/usr/zookeeper/zookeeper-3.4.10
PATH=$PATH:$ZOOKEEPER_HOME/bin
[root@master zkdata]# source /etc/profile

6、启动zookeeper集群（三台机器）

[root@master zookeeper-3.4.10]# bin/zkServer.sh start
[root@master zookeeper-3.4.10]# bin/zkServer.sh status
# 三个节点一个是leader,另外两个是follower
# 三个节点分别执行命令 jps
# 检查每个节点是否都有 QuorumPeerMain进程

安装 Hadoop

1、创建Hadoop安装目录并解压

[root@master ~]# mkdir -p /usr/hadoop
[root@master ~]# tar -zxvf /opt/soft/hadoop-2.7.3.tar.gz -C /usr/hadoop/

2、配置环境变量（三台机器）

[root@master ~]# vi /etc/profile
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin
[root@master ~]# source /etc/profile

Hadoop的配置文件所在目录为 /usr/hadoop/hadoop-2.7.3/etc/hadoop

3、配置core-site.xml

[root@master hadoop]# vi core-site.xml
<configuration>
<property>
  <name>fs.default.name</name>
   <value>hdfs://master:9000</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
   <value>/usr/hadoop/hadoop-2.7.3/hdfs/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
  <name>io.file.buffer.size</name>
   <value>131072</value>
</property>
<property>
  <name>fs.checkpoint.period</name>
   <value>60</value>
</property>
<property>
  <name>fs.checkpoint.size</name>
   <value>67108864</value>
</property>
</configuration>

4、配置hdfs-site.xml

[root@master hadoop]# vi hdfs-site.xml
<configuration>
<property>
 <name>dfs.replication</name>
   <value>2</value>
 </property>
 <property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value>
   <final>true</final>
</property>
 <property>
   <name>dfs.datanode.data.dir</name>
   <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value>
   <final>true</final>
 </property>
 <property>
  <name>dfs.namenode.secondary.http-address</name>
   <value>master:9001</value>
 </property>
 <property>
   <name>dfs.webhdfs.enabled</name>
   <value>true</value>
 </property>
 <property>
   <name>dfs.permissions</name>
   <value>false</value>
 </property>
</configuration>

5、配置mapred-site.xml

[root@master hadoop]# vi mapred-site.xml
<configuration>
<property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
 </property>
</configuration>

6、配置yarn-site.xml

[root@master hadoop]# vi yarn-site.xml
<configuration>
<property>
 <name>yarn.resourcemanager.address</name>
   <value>master:18040</value>
 </property>
 <property>
   <name>yarn.resourcemanager.scheduler.address</name>
   <value>master:18030</value>
 </property>
 <property>
   <name>yarn.resourcemanager.webapp.address</name>
   <value>master:18088</value>
 </property>
 <property>
   <name>yarn.resourcemanager.resource-tracker.address</name>
   <value>master:18025</value>
 </property>
 <property>
  <name>yarn.resourcemanager.admin.address</name>
  <value>master:18141</value>
 </property>
 <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
 </property>
 <property>
  <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
 </property>

<!-- Site specific YARN configuration properties -->

</configuration>

7、配置hadoop-env.sh

[root@master hadoop]# vi hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_171

8、修改slaves

[root@master hadoop]# vi slaves
slave1
slave2

9、编辑master

[root@master hadoop]# vi master
master

10、分发hadoop

[root@master hadoop]# scp -r /usr/hadoop/ root@slave1:/usr/
[root@master hadoop]# scp -r /usr/hadoop/ root@slave2:/usr/

11、格式化hadoop并开启集群

# 第一次启动hadoop时格式化
[root@master hadoop]# hadoop namenode -format
# 若出现 Exiting with status 0 ,则格式化成功
[root@master hadoop]# cd $HADOOP_HOME 
[root@master hadoop-2.7.3]# sbin/start-all.sh 
# master节点进程
[root@master hadoop-2.7.3]# jps
2819 NameNode
2998 SecondaryNameNode
3143 ResourceManager
3452 Jps
# slave1 节点进程
[root@slave1 zookeeper-3.4.10]# jps
2672 DataNode
2768 NodeManager
2916 Jps
# slave2 节点进程
[root@slave2 zookeeper-3.4.10]# jps
2672 DataNode
2916 Jps
2767 NodeManager
若三个节点出现上述进程，则表明hadoop启动成功

12、浏览器访问可视化界面

http://192.168.83.101:50070/

在这里插入图片描述
到此为止，Hadoop的配置就完成了。

Code-Dragon
关注
  • 1
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
centos7搭建hadoop2.9.2完全分布式+zookeeper部署+hbase部署
愿与你一起深度技术交流
06-16 1119
目录一、Hadoop完全分布式集群搭建部署1、配置静态IP2、关闭防火墙3、修改hostname 及 hosts映射4、创建Hadoop账号5、配置SSH6、安装jdk7、修改时区8、安装Hadoop9、配置Hadoop文件10、主机ping通centos11、启动hadoop进程可能遇到的问题：二、Zookeeper安装部署1、环境变量配置2、配置zoo.cfg文件3、创建myid文件4、启动三、Hbase安装部署1、首先解压重命名配置环境变量2、编辑hbase-env.sh文件3、编辑hbase-sit
大数据分布式集群环境搭建详细步骤（Linux环境搭建及网络配置）
ZFX008的博客
08-14 2389
前言：大数据分布式集群环境搭建对于初学者来说较为繁琐复杂，网上教程也参差不齐，本人在学习大数据的过程中踩过不少坑，希望记录下来，我们大家互相学习，让学习成为一种习惯。博客中如果有需要改进的地方，希望大家不吝赐教。
最全Hadoop大数据集群搭建（超详细）_hadoop集群搭建(1)，2024年最新阿里P7大牛整理
最新发布
2301_79772893的博客
05-12 1599
搭建集群需要3个虚拟机，hadoop01，hadoop02，hadoop03，已经安装了hadoop01，剩下两个需要用到虚拟机克隆。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。修改hadoop02和hadoop03的hostname为 hadoop02 和 hadoop03。在hadoop01上执行。
Hadoop集群配置Zookeeper
科小勒的博客
12-23 399
解压、安装 将zookeeper压缩包解压到指定目录下 tar -zxvf zookeeper-3.5.7.tar.gz -C /opt/module/ 配置服务器编号 1）在/opt/module/zookeeper-3.5.7/这个目录下创建zkData # 如果是存在之前的zkData，注意要删除zkData中的所有文件 mkdir -p zkData 2）在/opt/module/zookeeper-3.5.7/zkData目录下创建一个myid的文件 touch myid 3）编辑myi
阿里云Hadoop集群部署(3)-Jdk/Hadop/Zookeeper 部署环境变量设置
huonan_123的博客
11-26 280
Hadoop集群jdk/HDFS/Zookeeper解压,环境变量配置
Hadoop集群搭建（四：Zookeeper环境安装）
Eyeshot的博客
05-26 839
实验 目的 要求 目的： 1、掌握在完全分布模式的整合平台中Zookeeper的完全分布模式的安装 要求： 完成Zookeeper的完全分布农事的安装； Zookeeper服务能够正常启动和连接； Zookeeper控制台能够正常进入； Zookeeper控制台命令能够正常使用 ...
大数据之zookeeper集群详细安装步骤
11-25
在大数据环境中，ZooKeeper常用于管理HDFS（Hadoop Distributed File System）等分布式组件，确保集群的高可用性和一致性。 Zookeeper集群的安装步骤如下： 1. **环境准备**： - 首先，确保系统已经安装了Java ...
大数据hadoop分布式集群搭建（Hadoop、hbase、hive、mysql、zookeeper、Kafka、flume）
08-23
自己整理的Hadoop环境的一些安装，和一些简单的使用，其中包括Hadoop、hbase、hive、mysql、zookeeper、Kafka、flume。都是一些简单的安装步骤和使用，只在自己的虚拟机（Linux centOS7）上使用测试过。按照步骤一步...
大数据综合实验环境搭建（3个集群、Zookeeper、Hive、HBase）
01-25
本资源摘要信息主要对大数据综合实验环境搭建进行了详细的介绍，涵盖了 JDK 的安装和配置、免密码登录的设置、Zookeeper 的安装、Hive 和 HBase 的安装等内容。 一、 JDK 的安装和配置 JDK 是 Java Development ...
部署全分布模式Hadoop集群 实验报告
04-18
3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 4. 理解为何需要配置 SSH 免密登录，掌握 Linux 环境下 SSH 的安装、免密登录的配置。 5. 熟练掌握在 Linux 环境下如何部署全分布模式 ...
Hadoop--zookeeper搭建HDFS集群
https://juejin.cn/user/4248168663101239/posts
12-04 289
这里写自定义目录标题一. 原理分析二. 搭建HDFS高可用集群1. 环境准备2. 安装zookeeper3. zookeeper 安装包下载4.准备3个zk下创建数据存放目录5.在每个数据文件夹中准备一个myid文件6. 编辑每个data目录中myid7. 将zk配置文件zoo.cfg创建在zkdata目录中8.启动zk节点8. 查看zk角色信息9. 其他三台Hadoop机器10.配置hadoop的core-site.xml 三个机器一致11.配置hdfs-site.xml12. 修改slaves文件指定
hadoop+zookeeper+yarn搭建高可用完全分布式环境详细步骤
web13618542420的博客
08-16 635
前提准备3台centos7.0虚拟机。
安装hadoop集群和zookeeper
buerba的博客
06-28 301
1.2 centos环境配置 关闭防火墙 停止防火墙服务 systemctl stop firewalld 禁用防火墙，下次开机启动后防火墙服务不再启动 systemctl disable firewalld 生成秘钥： ssh-keygen -t rsa -P “” cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys 开启远程免密登录配置 [root@xiu1 ~]# ssh-copy-id -i .ssh/id_rsa.pub -p
Hadoop3.3.2 完全分布式集群构建步骤【无脑版】
software_0215的专栏
04-15 3384
hadoop 完全分布式 集群 linux
Hadoop-Zookeeper 详细介绍 详细安装步骤 与 使用
bwf317的博客
11-23 637
简介：Zookeeper是一个底层的分布式协调服务工具！它是hadoop生态体系中很多分布式系统（HDFS、YARN(HA高可用)、HBASE(ZK)、KAFKA.........）的基础组件 基本的功能： 为客户提供写数据功能 存储关键状态数据 数据量小 为客户提供读取据功能 为用户提供数据变化时的监控功能 1) 节点的子节点个数 2) 节点的数据变化 作用： HDFS YARN的mast是自己制定的(配置HA) namenode 分布式系统中的主节点选举！ 比如hba
云存储集群配置五——Hadoop安装与配置
qq_45130472的博客
05-23 167
一、Hadoop 基本安装配置 1、创建用于存放Hadoop的目录，并解压软件包 2、配置Hadoop的环境变量，使新配置的环境立即生效，查看添加修改的环境变量是否设置成功，验证Hadoop的安装配置 二、Hadoop高可用完全分布模式配置 1、进入相关目录，创建目录“tmp”，“name”，“data”，“journal” 2、对配置文件进行修改 三、同步安装和配置 四、Hadoop高可用完全分布模式格式化和启动 1、在同步通信节点的主机启动同步通信服务及查看J
Zookeeper和Hadoop分布式集群搭建
weixin_44468025的博客
04-22 1683
Zookeeper和Hadoop分布式集群搭建 用三台虚拟机搭建如上集群 Zookeeper下载地址： https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.5.8/apache-zookeeper-3.5.8-bin.tar.gz Hadoop下载地址： https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/ 环境配置：JDK1.8+Zookeeper3.5.8+hadoo
5节点Hadoop HA集群搭建
大锤
08-29 9645
5节点hadoop-2.7.3 HA集群搭建 一、集群规划 共5个节点，主机名分别是node-01、node-02、node-03、node-04、node-05 初始启动集群，node-01上运行active namenode即主namenode；node-02上运行standby namenode即从namenode 每个节点运行的进程如下表 机器名 运行进程 node-01 NameNode/zkfc/Zookeeper/Journalnode/DataNode/NodeManag
一站式CentOS大数据分布式集群搭建教程：Hadoop+Spark+HBase等
在本文档中，我们将深入探讨如何在CentOS操作系统上搭建一个包含多个组件的大数据分布式集群环境，以支持Hadoop、Spark、HBase、Hive、Solr、Elasticsearch、Redis、Zookeeper、RocketMQ、MongoDB、MariaDB、Storm和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Code-Dragon

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值