zookeeper和hadoop连接

最新推荐文章于 2024-01-21 03:41:11 发布
最新推荐文章于 2024-01-21 03:41:11 发布
阅读量382 收藏
点赞数
分类专栏： java 文章标签： hadoop zookeeper hdfs 后端 mybatis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/web18334137065/article/details/126553004
版权

单独安装hadoop或者zookeeper可以参考这两个博客
zookeeper的安装连接
http://blog.csdn.net/hanlipenghanlipeng/article/details/53157525
hadoop的安装地址http://blog.csdn.net/hanlipenghanlipeng/article/details/51960235
hadoop的安装连接

zookeeper和hadoop连接主要是一些的配置文件稍有不同，如果你的hadoop和zookeeper都安装好了，或者会安装的，你只需要重点看hadoop上的一些配置

1.修改Linux主机名
2.修改IP
3.修改主机名和IP的映射关系
######注意######如果你们公司是租用的服务器或是使用的云主机（如华为用主机、阿里云主机等）
/etc/hosts里面要配置的是内网IP地址和主机名的映射关系
4.关闭防火墙
5.ssh免登陆
6.安装JDK，配置环境变量等

集群规划：
主机名 IP 安装的软件 运行的进程
hadoop01 192.168.1.201 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)
hadoop02 192.168.1.202 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)
hadoop03 192.168.1.203 jdk、hadoop ResourceManager
hadoop04 192.168.1.204 jdk、hadoop ResourceManager
hadoop05 192.168.1.205 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
hadoop06 192.168.1.206 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
hadoop07 192.168.1.207 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain

说明：
1.在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。
hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode
这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为standby状态
2.hadoop-2.2.0中依然存在一个问题，就是ResourceManager只有一个，存在单点故障，hadoop-2.4.1解决了这个问题，有两个ResourceManager，一个是Active，一个是Standby，状态由zookeeper进行协调
安装步骤：
1.安装配置zooekeeper集群（在hadoop05上）
1.1解压
tar -zxvf zookeeper-3.4.5.tar.gz -C /hadoop/
1.2修改配置
cd /hadoop/zookeeper-3.4.5/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
修改：dataDir=/hadoop/zookeeper-3.4.5/tmp
在最后添加：
server.1=hadoop05:2888:3888
server.2=hadoop06:2888:3888
server.3=hadoop07:2888:3888
保存退出
然后创建一个tmp文件夹
mkdir /hadoop/zookeeper-3.4.5/tmp
再创建一个空文件
touch /hadoop/zookeeper-3.4.5/tmp/myid
最后向该文件写入ID
echo 1 > /hadoop/zookeeper-3.4.5/tmp/myid
1.3将配置好的zookeeper拷贝到其他节点(首先分别在hadoop06、hadoop07根目录下创建一个hadoop目录：mkdir /hadoop)
scp -r /hadoop/zookeeper-3.4.5/ hadoop06:/hadoop/
scp -r /hadoop/zookeeper-3.4.5/ hadoop07:/hadoop/

		注意：修改hadoop06、hadoop07对应/hadoop/zookeeper-3.4.5/tmp/myid内容
		hadoop06：
			echo 2 > /hadoop/zookeeper-3.4.5/tmp/myid
		hadoop07：
			echo 3 > /hadoop/zookeeper-3.4.5/tmp/myid

2.安装配置hadoop集群（在hadoop01上操作）
	2.1解压
		tar -zxvf hadoop-2.4.1.tar.gz -C /hadoop/
	2.2配置HDFS（hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下）
		#将hadoop添加到环境变量中
		vim /etc/profile
		export JAVA_HOME=/usr/java/jdk1.7.0_55
		export HADOOP_HOME=/hadoop/hadoop-2.4.1
		export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
		
		#hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下
		cd /hadoop/hadoop-2.4.1/etc/hadoop
		
		2.2.1修改hadoo-env.sh
			export JAVA_HOME=/usr/java/jdk1.7.0_55
			
		2.2.2修改core-site.xml
			<configuration>
				<!-- 指定hdfs的nameservice为ns1 -->
				<property>
					<name>fs.defaultFS</name>
					<value>hdfs://ns1</value>
				</property>
				<!-- 指定hadoop临时目录 -->
				<property>
					<name>hadoop.tmp.dir</name>
					<value>/hadoop/hadoop-2.4.1/tmp</value>
				</property>
				<!-- 指定zookeeper地址 -->
				<property>
					<name>ha.zookeeper.quorum</name>
					<value>hadoop05:2181,hadoop06:2181,hadoop07:2181</value>
				</property>
			</configuration>
			
		2.2.3修改hdfs-site.xml
			<configuration>
				<!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
				<property>
					<name>dfs.nameservices</name>
					<value>ns1</value>
				</property>
				<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
				<property>
					<name>dfs.ha.namenodes.ns1</name>
					<value>nn1,nn2</value>
				</property>
				
				<!-- nn1的RPC通信地址 -->
				<property>
					<name>dfs.namenode.rpc-address.ns1.nn1</name>
					<value>hadoop01:9000</value>
				</property>
				<!-- nn1的http通信地址 -->
				<property>
					<name>dfs.namenode.http-address.ns1.nn1</name>
					<value>hadoop01:50070</value>
				</property>
				<!-- nn2的RPC通信地址 -->
				<property>
					<name>dfs.namenode.rpc-address.ns1.nn2</name>
					<value>hadoop02:9000</value>
				</property>
				<!-- nn2的http通信地址 -->
				<property>
					<name>dfs.namenode.http-address.ns1.nn2</name>
					<value>hadoop02:50070</value>
				</property>
				<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
				<property>
					<name>dfs.namenode.shared.edits.dir</name>
					<value>qjournal://hadoop05:8485;hadoop06:8485;hadoop07:8485/ns1</value>
				</property>
				<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
				<property>
					<name>dfs.journalnode.edits.dir</name>
					<value>/hadoop/hadoop-2.4.1/journal</value>
				</property>
				<!-- 开启NameNode失败自动切换 -->
				<property>
					<name>dfs.ha.automatic-failover.enabled</name>
					<value>true</value>
				</property>
				<!-- 配置失败自动切换实现方式 -->
				<property>
					<name>dfs.client.failover.proxy.provider.ns1</name>
					<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
				</property>
				<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
				<property>
					<name>dfs.ha.fencing.methods</name>
					<value>
						sshfence
						shell(/bin/true)
					</value>
				</property>
				<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
				<property>
					<name>dfs.ha.fencing.ssh.private-key-files</name>
					<value>/home/hadoop/.ssh/id_rsa</value>
				</property>
				<!-- 配置sshfence隔离机制超时时间 -->
				<property>
					<name>dfs.ha.fencing.ssh.connect-timeout</name>
					<value>30000</value>
				</property>
			</configuration>
		
		2.2.4修改mapred-site.xml
			<configuration>
				<!-- 指定mr框架为yarn方式 -->
				<property>
					<name>mapreduce.framework.name</name>
					<value>yarn</value>
				</property>
			</configuration>	
		
		2.2.5修改yarn-site.xml
			<configuration>
					<!-- 开启RM高可靠 -->
					<property>
					   <name>yarn.resourcemanager.ha.enabled</name>
					   <value>true</value>
					</property>
					<!-- 指定RM的cluster id -->
					<property>
					   <name>yarn.resourcemanager.cluster-id</name>
					   <value>yrc</value>
					</property>
					<!-- 指定RM的名字 -->
					<property>
					   <name>yarn.resourcemanager.ha.rm-ids</name>
					   <value>rm1,rm2</value>
					</property>
					
					<!-- 分别指定RM的地址 -->
					<property>
					   <name>yarn.resourcemanager.hostname.rm1</name>
					   <value>hadoop03</value>
					</property>
					<property>
					   <name>yarn.resourcemanager.hostname.rm2</name>
					   <value>hadoop04</value>
					</property>
					<!-- 指定zk集群地址 -->
					<property>
					   <name>yarn.resourcemanager.zk-address</name>
					   <value>hadoop05:2181,hadoop06:2181,hadoop07:2181</value>
					</property>
					<property>
					   <name>yarn.nodemanager.aux-services</name>
					   <value>mapreduce_shuffle</value>
					</property>
			</configuration>
		
			
		2.2.6修改slaves(slaves是指定子节点的位置，因为要在hadoop01上启动HDFS、在hadoop03启动yarn，所以hadoop01上的slaves文件指定的是datanode的位置，hadoop03上的slaves文件指定的是nodemanager的位置)
			hadoop05
			hadoop06
			hadoop07

		2.2.7配置免密码登陆
			#首先要配置hadoop01到hadoop02、hadoop03、hadoop04、hadoop05、hadoop06、hadoop07的免密码登陆
			#在hadoop01上生产一对钥匙
			ssh-keygen -t rsa
			#将公钥拷贝到其他节点，包括自己
			ssh-coyp-id hadoop01
			ssh-coyp-id hadoop02
			ssh-coyp-id hadoop03
			ssh-coyp-id hadoop04
			ssh-coyp-id hadoop05
			ssh-coyp-id hadoop06
			ssh-coyp-id hadoop07
			#配置hadoop03到hadoop04、hadoop05、hadoop06、hadoop07的免密码登陆
			#在hadoop03上生产一对钥匙
			ssh-keygen -t rsa
			#将公钥拷贝到其他节点
			ssh-coyp-id hadoop04
			ssh-coyp-id hadoop05
			ssh-coyp-id hadoop06
			ssh-coyp-id hadoop07
			#注意：两个namenode之间要配置ssh免密码登陆，别忘了配置hadoop02到hadoop01的免登陆
			在hadoop02上生产一对钥匙
			ssh-keygen -t rsa
			ssh-coyp-id -i hadoop01				
	
	2.4将配置好的hadoop拷贝到其他节点
		scp -r /hadoop/ hadoop02:/
		scp -r /hadoop/ hadoop03:/
		scp -r /hadoop/hadoop-2.4.1/ root@hadoop04:/hadoop/
		scp -r /hadoop/hadoop-2.4.1/ root@hadoop05:/hadoop/
		scp -r /hadoop/hadoop-2.4.1/ root@hadoop06:/hadoop/
		scp -r /hadoop/hadoop-2.4.1/ root@hadoop07:/hadoop/
	###注意：严格按照下面的步骤
	2.5启动zookeeper集群（分别在hadoop05、hadoop06、tcast07上启动zk）
		cd /hadoop/zookeeper-3.4.5/bin/
		./zkServer.sh start
		#查看状态：一个leader，两个follower
		./zkServer.sh status
		
	2.6启动journalnode（分别在在hadoop05、hadoop06、tcast07上执行）
		cd /hadoop/hadoop-2.4.1
		sbin/hadoop-daemon.sh start journalnode
		#运行jps命令检验，hadoop05、hadoop06、hadoop07上多了JournalNode进程
	
	2.7格式化HDFS
		#在hadoop01上执行命令:
		hdfs namenode -format
		#格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/hadoop/hadoop-2.4.1/tmp，然后将/hadoop/hadoop-2.4.1/tmp拷贝到hadoop02的/hadoop/hadoop-2.4.1/下。
		scp -r tmp/ hadoop02:/hadoop/hadoop-2.4.1/
	
	2.8格式化ZK(在hadoop01上执行即可)
		hdfs zkfc -formatZK
	
	2.9启动HDFS(在hadoop01上执行)
		sbin/start-dfs.sh

	2.10启动YARN(#####注意#####：是在hadoop03上执行start-yarn.sh，把namenode和resourcemanager分开是因为性能问题，因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动)
		sbin/start-yarn.sh

	
到此，hadoop-2.4.1配置完毕，可以统计浏览器访问:
	http://192.168.1.201:50070
	NameNode 'hadoop01:9000' (active)
	http://192.168.1.202:50070
	NameNode 'hadoop02:9000' (standby)

验证HDFS HA
	首先向hdfs上传一个文件
	hadoop fs -put /etc/profile /profile
	hadoop fs -ls /
	然后再kill掉active的NameNode
	kill -9 <pid of NN>
	通过浏览器访问：http://192.168.1.202:50070
	NameNode 'hadoop02:9000' (active)
	这个时候hadoop02上的NameNode变成了active
	在执行命令：
	hadoop fs -ls /
	-rw-r--r--   3 root supergroup       1926 2014-02-06 15:36 /profile
	刚才上传的文件依然存在！！！
	手动启动那个挂掉的NameNode
	sbin/hadoop-daemon.sh start namenode
	通过浏览器访问：http://192.168.1.201:50070
	NameNode 'hadoop01:9000' (standby)

验证YARN：
	运行一下hadoop提供的demo中的WordCount程序：
	hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /profile /out

OK，大功告成！！！
web18334137065
关注
专栏目录
hadoop系列：zookeeper（1）——zookeeper单点和集群安装
08-08 320
1、概述 8月份的第一周，忙得晕头转向，为了解决OSGI-Felix 下 hibernate JPA的ClassLoade...
关于zookeeper和hadoop集群的关联关系
Ghjkluuu的博客
02-15 5327
zookeeper:在集群中的作用是负责管理集群中·包括（namenode,ReducerManger,的主备切换作用，以及一些分布式组件的配置信息，和状态信息，还提供发布/订阅功能其主要目的就是在zookeeper集群上通过创建znode节点记录集群中一些位置信息，状态信息的变化，然后通过zookeeper的watcher机制把变化的节点中的内容通知到客户端，然后客户端从hadoop集群上下载内容），和负责监控集群的nameNode的状态。 主备切换：简单点就是说假如存在两个nameNode，一个nam
Hadoop2.7.3集群搭建
10-18 278
hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN HA 注意：apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库， 所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译 前期准备就不...
zookeeper和hadoop
weixin_43737594的博客
10-12 795
zookeeper操作 连接 zkCli.sh -server 服务名称 查看客户端指令 help ​ ZooKeeper -server host:port cmd args stat path [watch] set path data [version] ls path [watch] delquota [-n|-b] path ls2 path [watch] setAcl p...
zookeeper + hadoop
测试
06-17 133
hadoop-2.9.1 + zookeeper-3.4.12 + jdk-8u171-linux-x64 以及failover 测试 (resouce manager 以及　name node) # yum -y install ntp # timedatectl set-timezone Asia/Shanghai # ntpdate -u ntp.api.bz # getenforce ...
Zookeeper和Hadoop分布式集群搭建
weixin_44468025的博客
04-22 1739
Zookeeper和Hadoop分布式集群搭建 用三台虚拟机搭建如上集群 Zookeeper下载地址： https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.5.8/apache-zookeeper-3.5.8-bin.tar.gz Hadoop下载地址： https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/ 环境配置：JDK1.8+Zookeeper3.5.8+hadoo
Zookeeper集群和Hadoop集群安装（保姆级教程）
aj_shang的博客
03-07 4165
Zookeeper集群和Hadoop集群安装（保姆级教程），集群搭建
Zookeeper +Hadoop HA
m0_59737088的博客
07-13 467
1. zookeeper引言 简介 Apache ZooKeeper是Apache软件基金会的一个软件项目，大数据集群服务器的管理者协调者。 简言：ZK就是一个管理多个服务(集群分布式环境下)的通知机制 Watcher+文件系统 ZNode 文件系统：保存少量，服务器相关的配置文件信息。 Watcher 监听通知机制：注册监听服务器的上下线。 特点 zk集群中的数据内容，完全一致。 zk作为集群管理者，天生不存在单点问题。 zk的主机是动态选举出来的。 应用场景 2. 集群安装
zookeeper和hadoop集群集启脚本（超详细）
Yubingx的博客
09-09 387
首先你的保证你的hadoop集群和zookeeper集群是正常安装好并且相关配置是配置完成的，当以上工作完成后就可以进行集群脚本编写了。 1.首先在你的当前用户的家目录下创建一个bin目录，专门用来存放自己编写的脚本；用命令mkdir bin。 mkdir bin 2.然后进入bin目录下，使用命令vi zookeeper-hadoop先创建一个名为zookeeper-hadoop的文件，这个文件就是你之后的脚本名称，进入之后就可以编写自己的脚本。 vi zookeeper-hadoop 代码如下
kafka、zookeeper、hadoop、hbase、phoenix集群搭建和java调用.zip
10-14
在大数据处理领域，kafka、zookeeper、hadoop、hbase和phoenix是五个至关重要的组件，它们共同构建了一个高效、可靠的数据处理生态系统。本文将详细介绍这些技术的集群搭建过程及Java调用方法。 首先，Kafka是一个...
ZooKeeper 原理及其在 Hadoop 和 HBase 中的应用
04-14
ZooKeeper 原理及其在 Hadoop 和 HBase 中的应用，详细讲解ZooKeeper的原来和使用方法。
Zookeeper与Hadoop的集成
最新发布
AI天才研究院
01-21 1148
1.背景介绍 1. 背景介绍 Apache Zookeeper 和 Hadoop 是分布式系统中两个非常重要的组件。Zookeeper 是一个开源的分布式应用程序，它提供了一种可靠的、高效的、分布式协同服务。Hadoop 是一个开源的分布式文件系统和分布式计算框架，它可以处理大量数据并提供高性能的数据处理能力。 在分布式系统中，Zookeeper 和 Hadoop 之间存在着紧密的联系。Zo...
zookeeper和hadoop集群（伪分布式）
博客
09-29 761
1.Zookeeper官网 http://zookeeper.apache.org/ 2.安装Zookeeper 解压，配置环境变量，启动 根目录下bin/zkServer.sh start 这里是三台虚拟机，hadoop001，hadoop002，hadoop003 命令行客户端： [root@hadoop001 bin]# ./zkCli.sh （之后回车） 相关命令： [zk: localh...
Zookeeper和hadoop的安装与部署
LMY~~的博客
08-03 922
Zookeeper的安装与部署 zookeeper是用来进行分布式服务的协调，集群也是一个主集群，它一般是由一个Leader（领导者）和多个Follower（跟随者）组成。 1.下载安装包 2.上传安装包 3.解压安装包 4.zookeeper的相关配置 （1）配置zoo.cfg文件 设置数据文件目录及持久化路径 dataDir=/export/data/zookeeper/zkdata 配置zookeeper集群的服务器编号及对应的三个主机名选举端口号和通讯端口号 29 server.1=maste
hadoop、hbase、hive、zookeeper版本对应关系
testing_xu的专栏
02-27 892
hadoop与HBase版本对应关系: Hbase   Hadoop  0.92.0   1.0.0 0.92.1   1.0.0 0.92.2   1.0.3 0.94.0   1.0.2 0.94.1   1.0.3 0.94.2   1.0.3 0.94.3   1.0.4 0.94.4   1.0.4 0.94.5   1.0.4
Hadoop 之 ZooKeeper (一)
devalone 的专栏
07-03 571
Hadoop 之 ZooKeeper 本文介绍使用 Hadoop 的分布式协调服务构建通用的分布式应用 —— ZooKeeper。 ZooKeeper 是 Hadoop 分布式协调服务。 写分布式应用是比较难的，主要是因为部分失败(partial failure). 当一条消息通过网络在两个节点间发送时，如果发生网络错误，发送者无法知道接受者 是否接收到了这条消息。接收者可能在发生网络错误之前...
hadoop之zookeeper
代码创造世界
08-02 1207
Zookeeper 作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储， Zookeeper 作用主要是用来维护和监控存储的数据的状态变化，通过监控这些数据状态的变化，从而达到基于数据的集群管理。 1 Zookeeper基本框架 Zookeeper集群主要角色有Leader，Learner（Follower，Observ
zookeeper与hadoop整合
GuiFuShenGong123的博客
12-09 2329
介绍 在Hadoop1.X版本中namenode只支持一个，我们知道HDFS的读或者写都需要先去访问namenode，namenode其实就相当于Hadoop集群中的Master，如果namenode挂掉，整个Hadoop集群将无法使用。这就是我们说的单点故障问题。在Hadoop2.X版本之后提供了Hadoop的高可用，namenode可以配置两个，由Zookeeper管理，一个namenode处...
zookeeper + hadoop
lusic01的专栏
05-23 1905
　» Zookeeper 作为 Hadoop 项目中的一个子项目，是Hadoop 集群管理的一个必不可少的模块，它主要用来控制集群中的数据，如它管理 Hadoop　　　集群中的NameNode，还有 Hbase 中 Master Election、Server 之间状态同步等。　　» Zoopkeeper 提供了一套很好的分布式集群管理的机制，就是它这种基于层次型的目录树的数据结构，并对树中的节点...
使用Zookeeper配置Hadoop高可用集群实战指南
为了解决这个问题，引入了Hadoop高可用性（High Availability, HA）特性，通过Zookeeper协调，可以实现NameNode的冗余和故障切换，确保系统的不间断运行。 ## 一、高可用简介 Hadoop高可用性旨在确保即使在单个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值