基于zookeeper的Hadoop集群搭建详细步骤

已于 2024-04-23 10:59:58 修改
阅读量2.3k 收藏 15
点赞数 3
分类专栏： # 大数据集群搭建 文章标签： hadoop 大数据 java
于 2023-02-15 16:28:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Helen_1997_1997/article/details/129036760
版权

目录

一、一些基本概念

二、集群配置图

三、Hadoop高可用集群配置步骤

1.在第一台虚拟机解压hadoop-3.1.3.tar.gz到/opt/soft/目录

2.修改文件名、属主和属组

3.配置windows四台虚拟机的ip映射

4.修改环境变量和Hadoop相关配置文件

(1)hadoop-env.sh

(2)workers

(3)crore-site.xml

(4)hdfs-site.xml

(5)mapred-site.xml

(6)yarn-site.xml

5.拷贝hadoop到其他三台虚拟机

6.分配环境变量

7.重启环境变量，检验四台虚拟机安装是否成功

四、首次启动hadoop集群 

1.高可用启动之前要启动zookeeper

2.三台机器启动JournalNode

3.第一台机器格式化

4.第一台机器启动namenode

5.在第二台机器同步namenode信息

6.第二台机器启动namenode

7.每台机器查看namenode的状态都是standby

8.关闭所有的与dfs有关的服务

9.格式化zookeeper

10.zkCli.sh

11.启动dfs

12.查看namenode节点状态

13.打开网页登录查看

14.每台虚拟机下载主备切换工具

15.启动yarn

16.有resourcemanager的主机名登录8088端口

17.查看resourcemanager节点状态

18.关闭集群

zookeeper集群的安装步骤参考博文《搭建zookeeper高可用集群详细步骤》，注意主机名，这里换了主机名ant161=ant165;ant162=ant166;ant163=ant167;ant164=ant168

一、一些基本概念

JournalNode的作用

Hadoop集群中的DFSZKFailoverController进程的作用

二、集群配置图

ant161ant162ant163ant164
NameNodeNameNode
DataNode  DataNodeDataNodeDataNode
NodeManagerNodeManagerNodeManagerNodeManager
ResourceManagerResourceManager
JournalNode监控NameNode是否同步JournalNodeJournalNode

DFSZKFailoverController监控NameNode是否存活

DFSZKFailoverController

zookeeper0zookeeper1zookeeper2
JobHistory

三、Hadoop高可用集群配置步骤

1.在第一台虚拟机解压hadoop-3.1.3.tar.gz到/opt/soft/目录

[root@ant161 install]# tar -zxf ./hadoop-3.1.3.tar.gz -C /opt/soft/

2.修改文件名、属主和属组

[root@ant161 soft]# mv ./hadoop-3.1.3/ hadoop313

[root@ant161 soft]# chown -R root:root ./hadoop313/

3.配置windows四台虚拟机的ip映射

C:\Windows\System32\drivers\etc目录下的host文件，添加以下的主机ip配置

4.修改环境变量和Hadoop相关配置文件

vim /etc/profile

(1)hadoop-env.sh

# The java implementation to use. By default, this environment
# variable is REQUIRED on ALL platforms except OS X!
export JAVA_HOME=/opt/soft/jdk180
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

(2)workers

        输入四台虚拟机主机名

ant161
ant162
ant163
ant164

(3)crore-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://gky</value>
        <description>逻辑名称，必须与hdfs-site.cml中的dfs.nameservices值保持一致</description>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/soft/hadoop313/tmpdata</value>
        <description>namenode上本地的hadoop临时文件夹</description>
    </property>
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
        <description>默认用户</description>
    </property>
    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
        <description></description>
    </property>
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
        <description></description>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
        <description>读写文件的buffer大小为：128K</description>
    </property>
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>ant161:2181,ant162:2181,ant163:2181</value>
        <description></description>
    </property>
    <property>
        <name>ha.zookeeper.session-timeout.ms</name>
        <value>10000</value>
        <description>hadoop链接zookeeper的超时时长设置为10s</description>
    </property>
</configuration>

(4)hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
        <description>Hadoop中每一个block的备份数</description>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/soft/hadoop313/data/dfs/name</value>
        <description>namenode上存储hdfs名字空间元数据目录</description>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/soft/hadoop313/data/dfs/data</value>
        <description>datanode上数据块的物理存储位置</description>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>ant161:9869</value>
        <description></description>
    </property>
    <property>
        <name>dfs.nameservices</name>
        <value>gky</value>
        <description>指定hdfs的nameservice,需要和core-site.xml中保持一致</description>
    </property>
    <property>
        <name>dfs.ha.namenodes.gky</name>
        <value>nn1,nn2</value>
        <description>gky为集群的逻辑名称，映射两个namenode逻辑名</description>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.gky.nn1</name>
        <value>ant161:9000</value>
        <description>namenode1的RPC通信地址</description>
    </property>
    <property>
        <name>dfs.namenode.http-address.gky.nn1</name>
        <value>ant161:9870</value>
        <description>namenode1的http通信地址</description>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.gky.nn2</name>
        <value>ant162:9000</value>
        <description>namenode2的RPC通信地址</description>
    </property>
    <property>
        <name>dfs.namenode.http-address.gky.nn2</name>
        <value>ant162:9870</value>
        <description>namenode2的http通信地址</description>
    </property>
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://ant161:8485;ant162:8485;ant163:8485/gky</value>
        <description>指定NameNode的edits元数据的共享存储位置(JournalNode列表)</description>
    </property>
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/opt/soft/hadoop313/data/journaldata</value>
        <description>指定JournalNode在本地磁盘存放数据的位置</description>
    </property>
    <!-- 容错 -->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
        <description>启用NameNode故障自动切换</description>
    </property>

    <property>
        <name>dfs.client.failover.proxy.provider.gky</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        <description>失败后自动切换的实现方式</description>
    </property>
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
        <description>防止脑裂的处理</description>
    </property>
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
        <description>使用sshfence隔离机制时需要ssh免登陆</description>
    </property>
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
        <description>关闭HDFS操作权限验证</description>
    </property>
    <property>
        <name>dfs.image.transfer.bandwidthPerSec</name>
        <value>1048576</value>
        <description>1M</description>
    </property>
    <property>
        <name>dfs.block.scanner.volume.bytes.per.second</name>
        <value>1048576</value>
        <description>如果该值为0，则DataNode的块扫描程序将被禁用。如果这是正数，则这是DataNode的块扫描程序将尝试从每个卷扫描的每秒字节数。</description>
    </property>
</configuration>

(5)mapred-site.xml

<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
	<description>job执行框架： local, classic or yarn</description>
</property>
<property>
	<name>mapreduce.application.classpath</name>
	<value>/opt/soft/hadoop313/etc/hadoop:/opt/soft/hadoop313/share/hadoop/common/lib/*:/opt/soft/hadoop313/share/hadoop/common/*:/opt/soft/hadoop313/share/hadoop/hdfs/*:/opt/soft/hadoop313/share/hadoop/hdfs/lib/*:/opt/soft/hadoop313/share/hadoop/mapreduce/*:/opt/soft/hadoop313/share/hadoop/mapreduce/lib/*:/opt/soft/hadoop313/share/hadoop/yarn/*:/opt/soft/hadoop313/share/hadoop/yarn/lib/*</value>
	<description></description>
</property>
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>ant161:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>ant161:19888</value>
  </property>
<property>
	<name>mapreduce.map.memory.mb</name>
	<value>1024</value>
	<description>设置map阶段的task工作内存</description>
</property>
<property>
	<name>mapreduce.reduce.memory.mb</name>
	<value>2048</value>
	<description>设置reduce阶段的task工作内存</description>
</property>

(6)yarn-site.xml

<configuration>
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
        <description>开启resourcemanager高可用</description>
    </property>
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yrcabc</value>
        <description>指定yarn集群中的id</description>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
        <description>指定resourcemanager的名字</description>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>ant163</value>
        <description>设置rm1的名字</description>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>ant164</value>
        <description>设置rm2的名字</description>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>ant163:8088</value>
        <description></description>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>ant164:8088</value>
        <description></description>
    </property>
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>ant161:2181,ant162:2181,ant163:2181</value>
        <description>指定zookeeper集群地址</description>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
        <description>运行mapreduce程序必须配置的附属服务</description>
    </property>
    <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>/opt/soft/hadoop313/tmpdata/yarn/local</value>
        <description>nodemanager本地存储目录</description>
    </property>
    <property>
        <name>yarn.nodemanager.log-dirs</name>
        <value>/opt/soft/hadoop313/tmpdata/yarn/log</value>
        <description>nodemanager本地日志目录</description>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>2048</value>
        <description>resource进程的工作内存</description>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>2</value>
        <description>resource工作中所能使用机器的内核数</description>
    </property>
	<!--下面三个配置在公司要删除-->
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>256</value>
        <description></description>
    </property>
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
        <description></description>
    </property>
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>86400</value>
        <description>日志保留多少秒</description>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
        <description></description>
    </property>
    <property>
        <name>yarn.application.classpath</name>
        <value>/opt/soft/hadoop313/etc/hadoop:/opt/soft/hadoop313/share/hadoop/common/lib/*:/opt/soft/hadoop313/share/hadoop/common/*:/opt/soft/hadoop313/share/hadoop/hdfs/*:/opt/soft/hadoop313/share/hadoop/hdfs/lib/*:/opt/soft/hadoop313/share/hadoop/mapreduce/*:/opt/soft/hadoop313/share/hadoop/mapreduce/lib/*:/opt/soft/hadoop313/share/hadoop/yarn/*:/opt/soft/hadoop313/share/hadoop/yarn/lib/*</value>
  </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

5.拷贝hadoop到其他三台虚拟机

[root@ant161 soft]# scp -r ./hadoop313/ root@ant162:/opt/soft/
[root@ant161 soft]# scp -r ./hadoop313/ root@ant163:/opt/soft/
[root@ant161 soft]# scp -r ./hadoop313/ root@ant164:/opt/soft/

6.分配环境变量

[root@ant161 soft]# scp /etc/profile root@ant162:/etc/
profile                                                                                                                          100% 2202     1.4MB/s   00:00    
[root@ant161 soft]# scp /etc/profile root@ant163:/etc/
profile                                                                                                                          100% 2202     1.4MB/s   00:00    
[root@ant161 soft]# scp /etc/profile root@ant164:/etc/
profile

7.重启环境变量，检验四台虚拟机安装是否成功

source /etc/profile

hadoop 

hadoop version

四、首次启动hadoop集群 

1.高可用启动之前要启动zookeeper

[root@ant161 soft]# /opt/shell/zkop.sh start
------------ ant161 zookeeper -----------
JMX enabled by default
Using config: /opt/soft/zk345/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
------------ ant162 zookeeper -----------
JMX enabled by default
Using config: /opt/soft/zk345/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
------------ ant163 zookeeper -----------
JMX enabled by default
Using config: /opt/soft/zk345/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED



[root@ant161 soft]# /opt/shell/showjps.sh 
---------------- ant161 服务启动状态 -----------------
2532 QuorumPeerMain
2582 Jps
---------------- ant162 服务启动状态 -----------------
2283 QuorumPeerMain
2335 Jps
---------------- ant163 服务启动状态 -----------------
2305 Jps
2259 QuorumPeerMain
---------------- ant164 服务启动状态 -----------------
2233 Jps



[root@ant161 soft]# /opt/shell/zkop.sh status
------------ ant161 zookeeper -----------
JMX enabled by default
Using config: /opt/soft/zk345/bin/../conf/zoo.cfg
Mode: follower
------------ ant162 zookeeper -----------
JMX enabled by default
Using config: /opt/soft/zk345/bin/../conf/zoo.cfg
Mode: leader
------------ ant163 zookeeper -----------
JMX enabled by default
Using config: /opt/soft/zk345/bin/../conf/zoo.cfg
Mode: follower

2.三台机器启动JournalNode

[root@ant161 soft]# hdfs --daemon start journalnode
WARNING: /opt/soft/hadoop313/logs does not exist. Creating.

[root@ant162 soft]# hdfs --daemon start journalnode
WARNING: /opt/soft/hadoop313/logs does not exist. Creating.

[root@ant163 soft]# hdfs --daemon start journalnode
WARNING: /opt/soft/hadoop313/logs does not exist. Creating.

3.第一台机器格式化

[root@ant161 soft]# hdfs namenode -format

4.第一台机器启动namenode

[root@ant161 hadoop]# hdfs --daemon start namenode

5.在第二台机器同步namenode信息

[root @ant162 soft]# hdfs namenode -bootstrapStandby

6.第二台机器启动namenode

[root @ant162 soft]# hdfs --daemon start namenode

7.每台机器查看namenode的状态都是standby

[root @ant161 soft]# hdfs haadmin -getServiceState nn1
standby
[root @ant161 soft]#  hdfs haadmin -getServiceState nn2
standby

8.关闭所有的与dfs有关的服务

[root @ant161 soft]# stop-dfs.sh

9.格式化zookeeper

[root @ant161 soft]# hdfs zkfc -formatZK

10.zkCli.sh

11.启动dfs

12.查看namenode节点状态

[root@ant161 soft]# hdfs haadmin -getServiceState nn1
standby
[root@ant161 soft]# hdfs haadmin -getServiceState nn2
active

13.打开网页登录查看

14.每台虚拟机下载主备切换工具

[root@ant161 soft]# yum install psmisc -y

此时如果停止active那一台的namenode，7218是active那一台机器namenode的进程号

[root@ant162 soft]# kill -9 7218

此时active那一台网页无法连接，另一台没有关闭namenode的机器的网页变为active

再重新启动关闭的namenode，网页端的两个网址刷新，就会发现刚刚变为active的那一台机器，还是active状态，而另一台重启的机器就编程了standby等待状态

15.启动yarn

16.有resourcemanager的主机名登录8088端口

哪一台机器是active的状态，就会自动跳转到那一台机器的主机名

17.查看resourcemanager节点状态

[root@ant161 soft]# yarn rmadmin -getServiceState rm1
active
[root@ant161 soft]# yarn rmadmin -getServiceState rm2
standby

18.关闭集群

(1)关闭dfs

[root@ant161 soft]# stop-dfs.sh

(2)关闭yarn

[root@ant161 soft]# stop-yarn.sh

(3)关闭journalnode

[root@ant161 soft]# hdfs --daemon stop journalnode

(4)关闭zookeeper

[root@ant161 soft]# /opt/shell/zkop.sh stop
雷神乐乐
关注
  • 3
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Zookeeper集群和Hadoop集群安装（保姆级教程）
aj_shang的博客
03-07 3833
Zookeeper集群和Hadoop集群安装（保姆级教程），集群搭建
搭建Hadoop集群简要步骤
s_swj__的博客
06-03 1306
一、准备n台服务器（关闭防火墙、静态ip、修改好主机名称） 二、提前编写好集群分发脚本xsync 三、集群配置 1.核心配置文件：core-site.xml 指定HDFS中NameNode的地址 指定Hadoop运行时产生文件的存储目录 2.配置hadoop-env.sh jdk地址 3.配置hdfs-site.xml 指定HDFS副本的数量 指定Hadoop辅助名称节点主机配置 4.配置yarn-env.sh jdk地址 5.配置yarn-site.xml 指定YARN的ResourceMa
hadoop集群搭建(超级详细)
10-11
超详细集群搭建教程(从虚拟机安装到集群搭建完成，集群搭建成功验证)，每一个步骤都有，照做即可。 内有集群搭建所需安装包：hadoop2.2.0，zookeeper3.4.5
hadoop集群搭建详细步骤
02-22
hadoop集群搭建详细步骤
最全【Hadoop大数据技术】——ZooKeeper分布式协调服务（学习笔记
最新发布
2401_84186067的博客
05-04 893
Zookeeper主要用来解决分布式集群中应用系统的一致性问题和单点故障问题，例如如何避免同时操作同一数据造成脏读的一致性问题等。Zookeeper具有全局数据一致性、可靠性、顺序性、原子性以及实时性，可以说Zookeeper的其他特性都是为满足Zookeeper全局数据一致性这一特性。Zookeeper集群是一个主从集群，它一般是由一个Leader（领导者）和多个Follower（跟随者）组成。此外，针对访问量比较大的Zookeeper集群，还可新增Observer（观察者）。
全网最详细的Hadoop大数据集群搭建并进行项目分析(基于完全分布式)-----第一部分
追求诗和远方的路上
03-25 6002
大数据集群搭建并进行项目分析(基于完全分布式) 第一部分：大数据集群搭建完全分布式 一、安装配置虚拟机 1、安装虚拟机并配置基础设置… 1、安装下载VMware、Centos镜像… 2、新建虚拟机配置其ip并克隆其他两台… 3、基础搭建3台配置ip、网络、免密登录等… 二、安装java环境并配置(三台都执行) 1、创建规范的目录结构… 2、上传jdk、hadoop等文件… 3、下载安装lrzsz传输文件… 4、解压jdk、hadoop文件… 5、修改/etc/profile文件… 三、安装Hadoo
hadoop和zookeeper的安装与配置
G_GUi的博客
10-02 3570
hadoop和zookeeper的安装与配置 1. 安装好linux虚拟机、Xshell、Xftp 2. 解压安装jdk、hadoop、zookeeper的压缩包 3. 配置linux主机设置与环境 4. 编写并添加hadoop的配置 5. 编写zookeeper的配置 6. 克隆机器（奇数） 7. 启动集群 ...
Hadoop系统应用之Zookeeper分布式集群部署
m0_57464618的博客
04-26 1128
PS: server.1=yangjian00:2888:3888中，1代表服务器编号，yangjian00表示服务器IP地址，2888表示通讯端口号，3888表示leader选举端口号。（2）将myid文件分发到yangjian01 yangjian02 yangjian03服务器，并修改myid文件依次对服务器号进行设置。（1） 执行命令vi /etc/profile对profile文件进行修改，添加Zookeeper的环境变量。（2）.在zkdata文件夹下创建myid文件，该文件内容为服务器编号。
最细教学！！ 分布式文件系统：Hadoop之Zookeeper的安装与配置
weixin_49104143的博客
07-17 1299
分布式文件系统：Hadoop之Zookeeper的安装与配置 “echo $PATH”查看新添加和修改的环境变量是否设置成功，以及环境变量的值是否正确。将Zookeeper目录和.bash_profile文件发送给集群中所有主机然后每台执行source ~/.bash_profile使环境变量生效。进入Zookeeper相关文件的目录，分别创建用于存放数据文件的目录data和存放日志文件的logs目录。使新的配置的环境变量立即生效。配置Zookeeper相关的环境变量。关闭所有主机的防火墙。
hadoop 分布式集群部署 一 zookeeper 集群部署
CodingDemo
07-25 224
hadoop 分布式集群部署 一 zookeeper 集群部署 、并注册为系统服务
zookeeper集群搭建-详细步骤
qq_43078445的博客
03-11 309
一：下载安装包： apache-zookeeper-3.6.2-bin.百度网盘 链接：https://pan.baidu.com/s/1Z9nE4Y6vr6XR73SArKAflw 提取码：0egb 复制这段内容后打开百度网盘手机App，操作更方便哦–来自百度网盘超级会员V4的分享 1:我在/opt创建module/zookeeper/目录 2：解压到module/zookeeper/目录下 tar -zxvf apache-zookeeper-3.6.2-bin.tar 再修改为 mv apac
hadoop+zookeeper+hbase集群搭建配置说明
06-22
以下是对这三个组件及其在集群搭建中的配置说明的详细阐述。 1. Hadoop：Hadoop是Apache软件基金会的一个开源项目，主要负责大数据的分布式存储和计算。它由两个主要部分组成：HDFS（Hadoop Distributed File ...
zookeeper linux集群搭建流程
08-16
Linux 集群搭建是 ZooKeeper 的一种常见应用场景，本文将详细介绍 ZooKeeper Linux 集群搭建流程。 准备前提 在开始搭建 ZooKeeper 集群之前，需要提前在本地安装好 JDK，因为 ZooKeeper 是用 Java 编写的，需要...
hadoop+hbase+zookeeper集群配置流程及文件
08-28
配置Hadoop集群主要包括以下几个步骤： 1. 安装Java环境：Hadoop依赖Java运行，确保所有节点上都安装了JDK，并且`JAVA_HOME`环境变量已设置。 2. 下载并解压Hadoop：获取Hadoop2.8.4的二进制包，并在所有节点上解压...
08-Hadoop之Zookeeper详解
夏夜的博客
10-21 2576
Zookeeper入门 一、 zookeeper 概述 1.1 概述 zookeeper 是一个开源的分布式协调系统，为分布式应用提供协调服务的Apache项目。 工作机制： 从设计角度：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接收观察者的注册，一旦这些数据的状态发生变化，zookeeper就将负责通知已经在zookeeper上个注册的那些观察者做出相应的反应。 设计目标： 将那些复杂且容易出错的分布式服务封装起来，构成一个高效可靠的分布式服务框架，并
大数据技术之Hadoop(五)——Zookeeper
weixin_63507910的博客
01-09 1275
Zookeeper的安装与认识
Hadoop 搭建高可用集群--zookeeper
m0_73469590的博客
02-19 1297
Hadoop 搭建高可用集群--zookeeper
Day52 Zookeeper的安装与使用、HA的搭建、MapReduce框架概述
m0_64350718的博客
04-05 1660
ZooKeeper的安装与配置 1、上传安装包到master并解压 tar -zxvf zookeeper-3.4.6.tar.gz 这里所使用的zooKeeper-3.4.6的压缩包版本过低，可能无法完成zookeeper中的一些操作命令，建议安装zookeeper-3.5.7版本或者更高版本 2、配置环境变量 vim /etc/profile export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.4.6 export PA...
Hadoop+Hdfs+Hbase+Kafka+Zookeeper集群搭建
Boxbiu的博客
12-26 4349
本文详细介绍了基于centos7的Hadoop集群的搭建过程，给出了Hadoop的基础知识和项目搭建的流程，搭建了一个master结点和两个slave结点的Hadoop集群，在master和slave服务器上配置HDFS(hadoop分布式文件系统) ,HBase(集群数据库)，zookeeper(集群维护服务),以及 kafka（消息队列），同时详细给出搭建过程和测试结果，并对搭建过程遇到的bug进行详细的记录
hadoop集群zookeeper搭建
10-12
Hadoop集群中使用ZooKeeper可以实现分布式环境下的协调和管理。下面是搭建Hadoop集群中ZooKeeper的步骤： 1. 首先，确保所有节点都已经安装了Java环境，并且网络互通。 2. 下载并解压ZooKeeper包到每个节点上。 3. 在ZooKeeper的配置文件`zoo.cfg`中，配置以下参数： - `dataDir`：指定ZooKeeper保存数据的目录。 - `clientPort`：指定客户端连接的端口号。 - `tickTime`：指定ZooKeeper中的基本时间单位，以毫秒为单位。 - `initLimit`：指定Learner节点与Leader节点初始化连接时的最大时间长度。 - `syncLimit`：指定Learner节点与Leader节点之间发送消息时的最大时间长度。 - `server.X`：指定ZooKeeper集群中的每个节点及其对应的IP地址和端口号。 4. 在每个节点上，创建一个名为`myid`的文件，并在其中写入当前节点的编号。确保每个节点的编号在集群中是唯一的。 5. 启动ZooKeeper集群。在每个节点上执行命令：`bin/zkServer.sh start`。 6. 使用`bin/zkCli.sh`命令连接到ZooKeeper集群进行验证和管理。 7. 在Hadoop的配置文件中，配置ZooKeeper相关参数，如`core-site.xml`和`hdfs-site.xml`。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值