hadoop和zookeeper的安装与配置

已于 2023-01-14 16:31:25 修改
阅读量3.5k 收藏 23
点赞数 5
分类专栏： 大数据 文章标签： hadoop linux zookeeper
于 2021-10-02 16:40:08 首次发布
GGui20
本文链接：https://blog.csdn.net/G_GUi/article/details/120579651
版权

文章目录

hadoop和zookeeper的安装与配置

附：配置文件的链接

一. 安装好linux虚拟机、Xshell、Xftp

在这里插入图片描述

二. 解压安装jdk、hadoop、zookeeper的压缩包

~
在VMware上登录 Linux系统并查看IP地址
在这里插入图片描述
~
~
选择并登录Xftp应用把Windows上的压缩包拖到 Linux系统上
在这里插入图片描述

选择Xftp应用把Windows上的压缩包拖到 Linux系统上述
~
~
使用命令解压压缩包：

tar -zxvf  压缩包名字

在这里插入图片描述
~
~

三. 配置linux主机设置与环境

1.修改主机名称

vi /etc/hostname

#名字按照集群顺序来
hadoop1

2.在文档内添加主机映射（IP地址根据自己的配置来）

vi /etc/hosts

#不要删除文档内的东西
#我这里准备三台机器作为集群规划
192.168.52.101 hadoop1
192.168.52.102 hadoop2
192.168.52.103 hadoop3

3.关闭防火墙

#关闭
systemctl stop firewalld
#永久关闭
systemctl disable firewalld

4.在 /opt 目录下创建soft文件夹和tmp文件夹
（一个放安装包，一个放临时文件）

mkdir soft

#zookeeper下的conf/zoo_sample.cfg的数据文件位置需要自己创建
mkdir -p temp/zookeeper/data
#并且在data这个目录里面添加**myid文档**
vi myid
#里面填写1就可以了
1
  1. 修改IP地址参数
 vi /etc/sysconfig/network-scripts/ifcfg-ens33

在这里插入图片描述

~
~

四. 编写并添加hadoop的配置

来到这个目录下开始配置

cd /opt/soft/hadoop-2.7.3/etc/hadoop

#配置core文档
vi core-site.xml

在中间 <configuration> 插入下面代码 </configuration>

<property>
	<name>fs.defaultFS</name>
	<value>hdfs://hadoop1</value>
</property>
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/tmp/hadoop/data</value>
</property>
<property>
	<name>ha.zookeeper.quorum</name>
	<value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
</property>
<property>
	<name>hadoop.proxyuser.bigdata.hosts</name>
	<value>*</value>
</property>
<property>
	<name>hadoop.proxyuser.bigdata.groups</name>
	<value>*</value>
</property>

#配置jdk路径
vi hadoop-env.sh

找到这行并修改jdk路径
export JAVA_HOME=/opt/soft/jdk1.8.0_112

#配置hdfs
vi hdfs-site.xml

在中间 <configuration> 插入下面代码 </configuration>

<property>
	<name>fs.replication</name>
	<value>2</value>
</property>
<property>
	<name>dfs.nameservices</name>
	<value>hadoop1</value>
</property>
<property>
	<name>dfs.ha.namenodes.hadoop1</name>
	<value>nn1,nn2</value>
</property>
<property>
	<name>dfs.namenode.rpc-address.hadoop1.nn1</name>
	<value>hadoop1:9000</value>
</property>
<property>
	<name>dfs.namenode.http-address.hadoop1.nn1</name>
	<value>hadoop1:50070</value>
</property>
<property>
	<name>dfs.namenode.rpc-address.hadoop1.nn2</name>
	<value>hadoop2:9000</value>
</property>
<property>
	<name>dfs.namenode.http-address.hadoop1.nn2</name>
	<value>hadoop2:50070</value>
</property>
<property>
	<name>dfs.namenode.chared.edits.dir</name>
	<value>qjournal://hadoop1:8485;hadoop2:8485;hadoop3:8485/hadoop1</value>
</property>
<property>
	<name>dfs.journalnode.edits.dir</name>
	<value>/opt/tmp/hadoop/journaldata</value>
</property>
<property>
	<name>dfs.ha.automatic-failover.enabled</name>
	<value>true</value>
</property>
<property>
	<name>dfs.client.failover.proxy.provider.hadoop1</name>
	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
	<name>dfs.ha.fencing.methods</name>
	<value>
		sshfence
		shell(/bin/true)
	</value>
</property>
<property>
	<name>dfs.ha.fencing.ssh.private-key-files</name>
	<value>/root/.ssh/id_rsa</value>
</property>
<property>
	<name>dfs.ha.fencing.ssh.connect-timeout</name>
	<value>30000</value>
</property>
<property>
	<name>dfs.webhdfs.enabled</name>
	<value>true</value>
</property>

#拷贝并修改文件名字
cp mapred-site.xml.template  mapred-site.xml
#然后编辑
vi mapred-site.xml

在中间 <configuration> 插入下面代码 </configuration>

<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>
<property>
	<name>mapreduce.jobhistory.address</name>
	<value>hadoop1:10020</value>
</property>
<property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>hadoop1:19888</value>
</property>

#配置jdk路径
vi yarn-env.sh

找到这行并修改jdk路径,删除前面的'#'号
export JAVA_HOME=/opt/soft/jdk1.8.0_112

#配置yarn
vi yarn-site.xml

<property>
	<name>yarn.resourcemanager.ha.enabled</name>
	<value>true</value>
</property>

<property>
	<name>yarn.resourcemanager.cluster-id</name>
	<value>yrc</value>
</property>

<property>
	<name>yarn.resourcemanager.ha.rm-ids</name>
	<value>rm1,rm2</value>
</property>

<property>
	<name>yarn.resourcemanager.hostname.rm1</name>
	<value>hadoop1</value>
</property>

<property>
	<name>yarn.resourcemanager.hostname.rm2</name>
	<value>hadoop2</value>
</property>
<property>
	<name>yarn.resourcemanager.zk-address</name>
	<value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
</property>
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

<property>
	<name>yarn.log-aggregation.retain-seconds</name>
	<value>86400</value>
</property>
<property>
	<name>yarn.resourcemanager.recovery.enabled</name>
	<value>true</value>
</property>
<property>
	<name>yarn.resourcemanager.store.class</name>
	<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>

注意：一共要修改6个文件

五. 编写zookeeper的配置

找到zookeeper的目录，然后去到cd /opt/soft/zookeeper-3.4.6/conf/下面

拷贝并且重命名 
cp zoo_sample.cfg  zoo.cfg

修改文档
vi zoo.cfg

在这里插入图片描述

六. 克隆机器（奇数）

打开VMware

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
最后打开三台机器，准备启动集群

七. 启动集群

启动三台机器修改
按顺序修改，例如：
主机名称：

		hadoop1
		hadoop2
		hadoop3

IP地址

192.168.52.128
192.168.52.128
192.168.52.128

myid

1
2
3

1.主机名称

vi /etc/hostname

2.IP地址

vi /etc/sysconfig/network-scripts/ifcfg-ens33

在这里插入图片描述
这个是我的 hosts 文件

在这里插入图片描述
3.myid

找到自己的myid文档，按顺序改为1、2、3...（有多少台机器就按顺序写下去）（不能有空格或空行）

4.重启
在这里插入图片描述
确认无误后
然后就可以打开 Xshell 新建三台会话
在这里插入图片描述
**

配置ssh免密登录

**
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
如下

	ssh-copy-id root@hadoop1
	ssh-copy-id root@hadoop2
	ssh-copy-id root@hadoop3

重点！
重点！
重点！（在下面这里）（一定要按顺序来）

1、分别每个机器上启动zookeeper集群（jps看到QuorumPeerMain进程）
    bin/zkServer.sh start
	
2、每个机器上启动 journalnode(最好是奇数台机器)
   (hadoop-daemon.sh start journalnode)启动完毕后jps能看到JournalNode进程
   
3、在一个namenode节点上进行格式化
	hadoop namenode -format
	
	注释：路径在core-site.xml中配置过
   （格式化成功后在配置的data目录下，有个dfs，里面有name和data，因为没有启动集群，data是空的因为
   格式化后暂时没有内容）
   （name中存储元数据，data存真数据）
   （name下有current，下面有4个文件，就是元数据信息<fsimage.....,seen_txid,VERSION>）


4、注意，在格式化后namenode的机器上找到存放数据的data目录，然后拷贝到另外一个备份的data目录下，
    保持初始元数据一致。下面是例子，具体目录自己决定。
     scp -r data hadoop02:/opt/tmp/hadoop
     scp -r data hadoop03:/opt/tmp/hadoop
	 
5、在第任何一个namenode上(#格式化zookeeper)，命令如下：
   hdfs zkfc -formatZK
   
6、启动hdfs：start-dfs.sh
7、启动yarn：start-yarn.sh

8、测试
   1）分别在每个机器上jps查看状态
   2）分别访问两个namenode机器上的50070界面，查看状态是否一个是Active，另外一个是Standby
   3）也可以测试访问一下yarn集群
   4）高可用测试，测试主备切换
   （将active状态的namenode进程干掉，kill -9 xxxxid）
   （可以再使用单节点启动方式启动namenode：hadoop-daemon.sh start namenode）

配图

第一步：

 bin/zkServer.sh start

在这里插入图片描述

第二步：

hadoop-daemon.sh start journalnode

在这里插入图片描述

第三步：格式化namenode

hadoop namenode -format

在这里插入图片描述
第四步：把格式化后产生的data拷贝到其他机器

#具体的data路径看core-site.xml 配置文件
scp -r data hadoop02:/opt/tmp/hadoop
scp -r data hadoop03:/opt/tmp/hadoop

在这里插入图片描述
data的路径在core-site.xml
在这里插入图片描述
第五步：格式化zookeeper

hdfs zkfc -formatZK

在这里插入图片描述

在这里插入图片描述
第6、7步：

start-dfs.sh
start-yarn.sh

第八步：测试
在这里插入图片描述

在这里插入图片描述
自己可以测试一下

8、测试
   1）分别在每个机器上jps查看状态
   2）分别访问两个namenode机器上的50070界面，查看状态是否一个是Active，另外一个是Standby
   3）也可以测试访问一下yarn集群
   4）高可用测试，测试主备切换
   （将active状态的namenode进程干掉，kill -9 xxxxid）
   （可以再使用单节点启动方式启动namenode：hadoop-daemon.sh start namenode）
奋斗的小G佩奇
关注
  • 5
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Zookeeper集群和Hadoop集群安装（保姆级教程）
aj_shang的博客
03-07 3854
Zookeeper集群和Hadoop集群安装（保姆级教程），集群搭建
物联网工程实验：hadoop与zookeeper安装与配置
weixin_73856247的博客
04-29 1066
问题：之前启动一直是FAILED TO START,后来查是版本安装错误，要安装带bin的压缩包，我这里安装的是apache-zookeeper-3.9.2-bin.tar.gz。问题：之前启动一直是FAILED TO START,后来查是版本安装错误，要安装带bin的压缩包，我这里安装的是apache-zookeeper-3.9.2-bin.tar.gz。node1为30、node2为31、node3为32，然后看是否能ping通。
Zookeeper安装部署
架构师小吴的博客
06-26 1374
ZooKeeper是一个开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper的基本原理，数据模型，Session，Watch机制，一致性保证，Leader Election，Leader和Follower的工作流程和Zab协议。
最细教学！！ 分布式文件系统：Hadoop之Zookeeper的安装与配置
weixin_49104143的博客
07-17 1311
分布式文件系统：Hadoop之Zookeeper的安装与配置 “echo $PATH”查看新添加和修改的环境变量是否设置成功，以及环境变量的值是否正确。将Zookeeper目录和.bash_profile文件发送给集群中所有主机然后每台执行source ~/.bash_profile使环境变量生效。进入Zookeeper相关文件的目录，分别创建用于存放数据文件的目录data和存放日志文件的logs目录。使新的配置的环境变量立即生效。配置Zookeeper相关的环境变量。关闭所有主机的防火墙。
Hadoop生态系统zookeeper安装（详细教程）
2301_77836489的博客
05-26 329
Hadoop生态系统zookeeper安装（详细教程）
Zookeeper和hadoop的安装与部署
LMY~~的博客
08-03 564
Zookeeper的安装与部署 zookeeper是用来进行分布式服务的协调，集群也是一个主集群，它一般是由一个Leader（领导者）和多个Follower（跟随者）组成。 1.下载安装包 2.上传安装包 3.解压安装包 4.zookeeper的相关配置 （1）配置zoo.cfg文件 设置数据文件目录及持久化路径 dataDir=/export/data/zookeeper/zkdata 配置zookeeper集群的服务器编号及对应的三个主机名选举端口号和通讯端口号 29 server.1=maste
hadoop、zookeeper、spark集群配置
fyphome
04-28 856
大数据第一阶段配置： 软件版本： 配置环境变量： 我环境变量放在自定义文件中/etc/profile.d/my_env_sh中，配置有jdk、hadoop、spark、scala、zookeeper、 hadoop配置： 我的hadoop版本是3.1.4 在目录/opt/module/hadoop-3.1.4/etc/hadoop下，我配置了core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml这四个配置文件 core-site.x
zookeeper的安装与配置
zero_20220228的博客
03-12 7513
本文是在安装Hadoop完分布式的环境下，继续进行Zookeeper集群的安装配置，分为详细步骤，保姆级安装。
Hadoop+Zookeeper+HBase安装搭建教程
Singo的博客
03-13 758
Hadoop生态圈技术文档 (一)Hadoop安装搭建前基础配置 1.静态网络配置 编辑网卡 设置IP地址 vi /etc/sysconfig/network-scripts/ifcfg-ens33 1修改BOOTPROTO=static 2修改ONBOOT=yes 3.添加IPADDR=192.168.10.111【网段】 NETMASK=255.255.255.0【子网掩码】 GATEWAY=192.168.10.254【网关】 DNS1=114.114.114.114【DNS服务器】 DNS2
Hadoop环境配置（zookeeper环境搭建）
m0_64966342的博客
12-19 524
注：安装之前关闭防火墙 1、关闭防火墙 （1）、防火墙状态的查看 命令：systemctl status firewalld （2）、关闭防火墙 命令：systemctl stop firewalld （3）、设置开机防火墙不启动 命令：systemctl disable firewalld 2、将zookeeper安装包拉到/opt/software/文件夹中 安装包版本：apache-zookeeper-3.5.7-bin.tar.gz 3、解压zookeeper安装包到/opt
HadoopHA集群部署、ZooKeeper安装与配置教学课件.pptx
06-20
任务二 编辑Zookeeper配置文件;任务三 创建zkdata和zkdatalog文件夹;任务四 设置Zookeeper节点对应的ID（myid）;任务五 配置Zookeeper环境变量;任务六 分发Zookeeper到其他Zookeeper节点;任务七 修改其他Zookeeper...
hadoop+zookeeper+hbase集群搭建配置说明
06-22
然后，下载Hadoop、Zookeeper和HBase的最新稳定版本，并根据官方文档或社区指南进行安装。配置文件通常位于`conf`目录下，如`hadoop-env.sh`、`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`、`zoo.cfg`和`...
Hadoop、HBase、Zookeeper安装部署
04-17
2. **安装Hadoop**：下载Hadoop发行版，解压到指定目录，配置`core-site.xml`（设置HDFS默认FS）、`hdfs-site.xml`（配置副本数和目录）等配置文件。 3. **格式化NameNode**：首次启动时执行此操作，初始化HDFS。 4....
hadoop+zookeeper安装包
08-02
10. **操作Hadoop和Zookeeper**：现在你可以使用Hadoop的命令行工具进行文件操作，如`hadoop fs -ls /`，并通过Zookeeper的客户端工具（如`zkCli.sh`）与Zookeeper交互。 在实际应用中，Hadoop和Zookeeper常被用于...
hadoop+hbase+zookeeper集群配置流程及文件
08-28
提供的文档`hadoop_zookeeper_hbase集群配置.docx`应包含详细的步骤和配置示例，而`配置文件.rar`则可能包含了预设的配置模板，可以作为配置参考。在实际操作时，务必根据具体环境调整配置，确保所有节点之间的网络...
大数据处理：大数据处理框架Hadoop、Spark
Chujun123528的博客
07-24 751
大数据处理是当代信息技术领域的一个重要分支，它涉及到海量数据的存储、管理和分析。为了高效地应对大数据处理的挑战，多种框架被开发出来，其中Hadoop和Spark是最为知名和广泛应用的两种。以下将详细介绍这两种框架以及它们在大数据处理中的应用和优势。
Linux初学基本命令
最新发布
yuan20010401的博客
07-25 369
1、rm 文件名称 删除多个文件多个目录需要用空格 删除根目录（rm -rf /*）1、touch 文件名字 用于linux创建文件 创建多个目录需要用空格隔开。2、mkdir 目录名称 用于创建文件夹 创建多个嵌套文件夹需要用/隔开。1、cp 当前文件 其他目录名称 拷贝文件夹需要在最后 -r。退出不保存时按Esc+:q!1、ls 查看当前目录下面的文件或者文件夹。2、more 文件名称 查看文件更多内容。1、mv 原文件路径 目标文件路径。退出保存时按Esc + :wq。
linux上导出数据库
weixin_43652507的博客
07-24 329
linux上导出数据库 MySQL、PostgreSQL、SQLite、MongoDB
hadoop安装与配置zookeeper
11-10
Hadoop是一个分布式计算框架，而Zookeeper是一个分布式协调服务。在Hadoop集群中，Zookeeper用于协调Hadoop集群中的各个节点，以确保它们之间的通信和同步。下面是Hadoop安装与配置Zookeeper的步骤： 1.安装Java环境 在安装Hadoop和Zookeeper之前，需要先安装Java环境。可以从Oracle官网下载Java安装包，然后按照提示进行安装。 2.安装Hadoop 下载Hadoop安装包并解压缩，然后将解压缩后的文件夹移动到指定的目录下。接下来，需要编辑Hadoop的配置文件，包括core-site.xml、hdfs-site.xml和mapred-site.xml等文件，以便将Hadoop配置为适合您的环境。 3.安装Zookeeper 下载Zookeeper安装包并解压缩，然后将解压缩后的文件夹移动到指定的目录下。接下来，需要编辑Zookeeper的配置文件，包括zoo.cfg等文件，以便将Zookeeper配置为适合您的环境。 4.启动Zookeeper 在启动Zookeeper之前，需要确保已经启动了Hadoop集群。然后，可以使用以下命令启动Zookeeper： ``` bin/zkServer.sh start ``` 5.配置Hadoop使用Zookeeper 在Hadoop的配置文件中，需要添加以下配置，以便Hadoop可以使用Zookeeper： ``` <property> <name>ha.zookeeper.quorum</name> <value>zk1.example.com:2181,zk2.example.com:2181,zk3.example.com:2181</value> <description>A list of ZooKeeper servers used by the ZKFailoverController.</description> </property> ``` 6.测试Zookeeper 可以使用以下命令测试Zookeeper是否正常工作： ``` bin/zkCli.sh -server zk1.example.com:2181 ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值