Centos7上Hadoop 3.3.1的高可用HA安装过程

已于 2022-04-19 18:02:57 修改
阅读量3.1k 收藏 8
点赞数 1
分类专栏： 分布式计算 文章标签： hadoop 3.3.1 hdfs yarn 高可用HA
于 2021-07-21 17:43:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yy8623977/article/details/118972314
版权

目录

1. 集群规划

  • 每台服务器相互设置ssh无密码登录，注意authorized_keys权限为600。可以用ssh-copy-id hostname将本机的id_rsa.pub内容复制到远程服务器的.ssh/authorized_key中
服务名安装服务器服务作用安装教程备注
java8bigdata001/2/3
zookeeperbigdata001/2/3基于Centos7分布式安装Zookeeper3.6.3
NameNodebigdata001/2/3
DataNodebigdata001/2/3
JournalNodesbigdata001/2/3active Namenode写入edit logs到JournalNodes，standby NameNode从JournalNodes读取edit logs
ZKFCbigdata001/2/3NameNode和zookeeper通信的客户端
ResourceManagerbigdata001/2/3不用JournalNodes，直接用zookeeper进行state-store；不用ZKFC，内置了zookeeper的客户端
NodeManagerbigdata001/2/3

2. 下载(在bigdata001操作)

执行下面的命令进行下载和解压

curl -O https://ftp.nluug.nl/internet/apache/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

tar -zxvf hadoop-3.3.1.tar.gz

进入hadoop目录

[root@bigdata001 opt]# 
[root@bigdata001 opt]# cd hadoop-3.3.1
[root@bigdata001 hadoop-3.3.1]# 
[root@bigdata001 hadoop-3.3.1]# pwd
/opt/hadoop-3.3.1
[root@bigdata001 hadoop-3.3.1]#

3. 配置文件修改(在bigdata001操作)

3.1 hadoop-env.sh

创建pids和logs文件

[root@bigdata001 hadoop-3.3.1]# 
[root@bigdata001 hadoop-3.3.1]# mkdir pids
[root@bigdata001 hadoop-3.3.1]# 
[root@bigdata001 hadoop-3.3.1]# mkdir logs
[root@bigdata001 hadoop-3.3.1]# 
[root@bigdata001 hadoop-3.3.1]# ls
bin  etc  include  lib  libexec  LICENSE-binary  licenses-binary  LICENSE.txt  logs  NOTICE-binary  NOTICE.txt  pids  README.txt  sbin  share
[root@bigdata001 hadoop-3.3.1]#
[root@bigdata001 hadoop-3.3.1]# pwd
/opt/hadoop-3.3.1
[root@bigdata001 hadoop-3.3.1]#

修改etc/hadoop/hadoop-env.sh文件

修改部分：

export JAVA_HOME=/opt/jdk1.8.0_201
export HADOOP_PID_DIR=/opt/hadoop-3.3.1/pids
export HADOOP_LOG_DIR=/opt/hadoop-3.3.1/logs

export HDFS_NAMENODE_USER=root

添加部分

export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root

3.2 core-site.xml

修改etc/hadoop/core-site.xml

添加部分:

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://nnha</value>
    </property>
    
    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>

    <property>
        <name>ha.zookeeper.quorum</name>
        <value>bigdata001:2181,bigdata002:2181,bigdata003:2181</value>
    </property>

    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
        <description>Hadoop的超级用户root能代理的节点</description>
    </property>

    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
        <description>Hadoop的超级用户root能代理的用户组</description>
    </property>

3.3 hdfs-site.xml

修改etc/hadoop/hdfs-site.xml

添加namenode和datanode文件夹

[root@bigdata001 hadoop-3.3.1]# 
[root@bigdata001 hadoop-3.3.1]# mkdir namenode
[root@bigdata001 hadoop-3.3.1]# 
[root@bigdata001 hadoop-3.3.1]# mkdir datanode
[root@bigdata001 hadoop-3.3.1]# 
[root@bigdata001 hadoop-3.3.1]# mkdir journalnode
[root@bigdata001 hadoop-3.3.1]#
[root@bigdata001 hadoop-3.3.1]# pwd
/opt/hadoop-3.3.1
[root@bigdata001 hadoop-3.3.1]#

添加部分:

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/hadoop-3.3.1/namenode</value>
    </property>
	
    <property>
        <name>dfs.blocksize</name>
        <value>268435456</value>
    </property>

    <property>
        <name>dfs.namenode.handler.count</name>
        <value>100</value>
    </property>
    
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/hadoop-3.3.1/datanode</value>
    </property>

    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>

    <property>
        <name>dfs.nameservices</name>
        <value>nnha</value>
    </property>

    <property>
        <name>dfs.ha.namenodes.nnha</name>
        <value>nn1,nn2,nn3</value>
    </property>

    <property>
        <name>dfs.namenode.rpc-address.nnha.nn1</name>
        <value>bigdata001:8020</value>
    </property>

    <property>
        <name>dfs.namenode.rpc-address.nnha.nn2</name>
        <value>bigdata002:8020</value>
    </property>

    <property>
        <name>dfs.namenode.rpc-address.nnha.nn3</name>
        <value>bigdata003:8020</value>
    </property>

    <property>
        <name>dfs.namenode.http-address.nnha.nn1</name>
        <value>bigdata001:9870</value>
    </property>

    <property>
        <name>dfs.namenode.http-address.nnha.nn2</name>
        <value>bigdata002:9870</value>
    </property>

    <property>
        <name>dfs.namenode.http-address.nnha.nn3</name>
        <value>bigdata003:9870</value>
    </property>

    <!-- JournalNodes的URI设置 -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://bigdata001:8485;bigdata002:8485;bigdata003:8485/nnha</value>
    </property>

    <!-- HDFS客户端使用该Java类连接到active NameNode -->
    <property>
        <name>dfs.client.failover.proxy.provider.nnha</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>

    <!-- 为了防止原来的active NameNode继续提供服务，ssh过去kill它的进程 -->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>

    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
    </property>

    <!-- journalnode本地目录 -->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/opt/hadoop-3.3.1/journalnode</value>
    </property>

    <!-- 安全模式下，standby NameNode也可以变为active -->
    <property>
        <name>dfs.ha.nn.not-become-active-in-safemode</name>
        <value>false</value>
    </property>

3.4 mapred-site.xml

修改etc/hadoop/mapred-site.xml

添加部分：

    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

3.5 yarn-site.xml

修改etc/hadoop/yarn-site.xml

[root@bigdata001 hadoop-3.3.1]# 
[root@bigdata001 hadoop-3.3.1]# pwd
/opt/hadoop-3.3.1
[root@bigdata001 hadoop-3.3.1]# 
[root@bigdata001 hadoop-3.3.1]# mkdir nm-local-dir
[root@bigdata001 hadoop-3.3.1]# mkdir nm-log-dir
[root@bigdata001 hadoop-3.3.1]# mkdir nm-remote-app-log-dir
[root@bigdata001 hadoop-3.3.1]#

添加部分：


    <property>
        <name>yarn.acl.enable</name>
        <value>false</value>
    </property>

    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>false</value>
    </property>

    <property>
        <name>yarn.resourcemanager.address</name>
        <value>${yarn.resourcemanager.hostname}:8032</value>
    </property>
	
	
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>${yarn.resourcemanager.hostname}:8030</value>
    </property>
	
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>${yarn.resourcemanager.hostname}:8031</value>
    </property>
	
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>${yarn.resourcemanager.hostname}:8033</value>
    </property>
	
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>bigdata001</value>
    </property>
	
    <property>
        <name>yarn.resourcemanager.scheduler.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
    </property>
	
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>1024</value>
    </property>
	
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>8192</value>
    </property>
	
    <property>
        <name>yarn.resourcemanager.nodes.include-path</name>
        <value></value>
    </property>
	
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>8192</value>
    </property>

    <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>2.1</value>
    </property>
	
    <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>/opt/hadoop-3.3.1/nm-local-dir</value>
    </property>
	
    <property>
        <name>yarn.nodemanager.log-dirs</name>
        <value>/opt/hadoop-3.3.1/nm-log-dir</value>
    </property>
	
    <property>
        <name>yarn.nodemanager.log.retain-seconds</name>
        <value>10800</value>
    </property>
	
    <property>
        <name>yarn.nodemanager.remote-app-log-dir</name>
        <value>/opt/hadoop-3.3.1/nm-remote-app-log-dir</value>
    </property>
	
    <property>
        <name>yarn.nodemanager.remote-app-log-dir-suffix</name>
        <value>logs</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value>
    </property>

    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>

    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>rmha</value>
    </property>

    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2,rm3</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>bigdata001</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>bigdata002</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm3</name>
        <value>bigdata003</value>
    </property>

    <property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>bigdata001:8088</value>
    </property>

    <property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>bigdata002:8088</value>
    </property>

    <property>
        <name>yarn.resourcemanager.webapp.address.rm3</name>
        <value>bigdata003:8088</value>
    </property>

    <property>
        <name>hadoop.zk.address</name>
        <value>bigdata001:2181,bigdata002:2181,bigdata003:2181</value>
    </property>

3.6 修改workers文件

bigdata001
bigdata002
bigdata003

4. hadoop目录分发（在bigdata001操作)

将bigdata001上配置的hadoop目录分发到其余两台服务器

[root@bigdata001 opt]# scp -r /opt/hadoop-3.3.1 root@bigdata002:/opt
[root@bigdata001 opt]# scp -r /opt/hadoop-3.3.1 root@bigdata003:/opt

5. 初始化和启动（在bigdata001操作)

5.1 添加环境变量

  1. /etc/profile添加内容如下：
export HADOOP_HOME=/opt/hadoop-3.3.1

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  1. 使环境变量生效
[root@bigdata001 ~]# 
[root@bigdata001 ~]# source /etc/profile
[root@bigdata001 ~]#

5.2 HDFS

注意：初始化后，只需在bigdata001上执行start-dfs.sh和stop-dfs.sh

  1. 启动journalnode（在bigdata002/3也要执行)
[root@bigdata001 opt]# 
[root@bigdata001 opt]# /opt/hadoop-3.3.1/bin/hdfs --daemon start journalnode
[root@bigdata001 opt]#
  1. hdfs初始化
[root@bigdata001 opt]#
[root@bigdata001 opt]# hdfs namenode -format
[root@bigdata001 opt]#
  1. 启动bigdata001上的NameNode
[root@bigdata001 opt]#
[root@bigdata001 opt]# hdfs --daemon start namenode
[root@bigdata001 opt]#
  1. 启动bigdata002和bigdata003上的NameNode, 并同步active NameNode的数据（只在bigdata002和bigdata003上执行)
[root@bigdata002 opt]#
[root@bigdata002 opt]# /opt/hadoop-3.3.1/bin/hdfs namenode -bootstrapStandby
[root@bigdata002 opt]#
  1. 初始化zookeeper中NameNode的数据
[root@bigdata001 opt]#
[root@bigdata001 opt]# hdfs zkfc -formatZK
[root@bigdata001 opt]#
  1. stop hdfs相关的服务
[root@bigdata001 opt]# 
[root@bigdata001 opt]# stop-dfs.sh 
Stopping namenodes on [bigdata001 bigdata002 bigdata003]
上一次登录：三 8月 11 16:15:59 CST 2021pts/0 上
Stopping datanodes
上一次登录：三 8月 11 16:41:30 CST 2021pts/0 上
Stopping journal nodes [bigdata002 bigdata003 bigdata001]
上一次登录：三 8月 11 16:41:32 CST 2021pts/0 上
Stopping ZK Failover Controllers on NN hosts [bigdata001 bigdata002 bigdata003]
上一次登录：三 8月 11 16:41:34 CST 2021pts/0 上
[root@bigdata001 opt]#
  1. 启动hdfs
[root@bigdata001 opt]#
[root@bigdata001 opt]# start-dfs.sh
Starting namenodes on [bigdata001 bigdata002 bigdata003]
上一次登录：三 8月 11 16:41:37 CST 2021pts/0 上
Starting datanodes
上一次登录：三 8月 11 16:42:17 CST 2021pts/0 上
Starting journal nodes [bigdata002 bigdata003 bigdata001]
上一次登录：三 8月 11 16:42:20 CST 2021pts/0 上
Starting ZK Failover Controllers on NN hosts [bigdata001 bigdata002 bigdata003]
上一次登录：三 8月 11 16:42:24 CST 2021pts/0 上
[root@bigdata001 opt]#
  1. 通过http://bigdata001:9870、http://bigdata002:9870、http://bigdata003:9870进行访问，只有bigdata003上的NameNode是active状态
    HDFS web页面查看

5.3 YARN

  1. 启动yarn
[root@bigdata001 opt]# 
[root@bigdata001 opt]# start-yarn.sh
Starting resourcemanagers on [ bigdata001 bigdata002 bigdata003]
上一次登录：三 8月 11 16:42:28 CST 2021pts/0 上
Starting nodemanagers
上一次登录：三 8月 11 17:11:25 CST 2021pts/0 上
[root@bigdata001 opt]#
  1. 通过http://bigdata002:8088/进行访问(只能访问active节点)

yarn web页面

  1. 停止yarn
[root@bigdata001 opt]# 
[root@bigdata001 opt]# stop-yarn.sh
Stopping nodemanagers
上一次登录：三 8月 11 17:21:20 CST 2021pts/0 上
Stopping resourcemanagers on [ bigdata001 bigdata002 bigdata003]
上一次登录：三 8月 11 17:25:08 CST 2021pts/0 上
[root@bigdata001 opt]#
Bulut0907
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
centos7搭建hadoop2.10高可用(HA)
01-09
本篇介绍在centos7中搭建hadoop2.10高可用集群，首先准备6台机器：2台nn(namenode);4台dn(datanode)；3台jns(journalnodes) IP hostname 进程 192.168.30.141 s141 nn1（namenode），zkfc（DFSZKFailoverController），zk（QuorumPeerMain） 192.168.30.142 s142 dn（datanode）, jn（journalnode），zk（QuorumPeerMain） 192.168.30.143 s143 dn（datanode）,
Hadoop3.3.1完全分布式部署
jiangbenchu的博客
02-23 1492
Hadoop 是一种分析和处理大数据的软件平台，是一个用 Java 语言实现的 Apache 的开源软件框架，在大量计算机组成的集群中实现了对海量数据的分布式计算。 结构框架 推荐架构 一个提供高可用的获取应用数据的分布式文件系统。从字面上来看，SecondaryNameNode 很容易被当作是 NameNode 的备份节点，其实不然。可以通过下图看 HDFS 中 SecondaryNameNode 的作用。NameNode主要是用来保存HDFS的元数据信息，比如命名空间信息，块信息等。当它运行的时候，这些
hadoop3.3.1搭建过程(HA)
月夜楓
08-13 1271
本文总结自：https://blog.csdn.net/Akari0216/article/details/107861974 centos版本为7.9，java版本是自带的openjdk1.8.0，hadoop版本为3.2.1 查看操作系统版本 安装redhat_lsb yum install redhat-lsb-core -y 查看系统版本 [hadoop@master2 dfs]$ lsb_release -a LSB Version: :core-4.1-amd64:core-4
Hadoop3.3.1 ha 搭建
m0_61283095的博客
07-31 162
六、备注：hadoop搭建文章有很多。但是按照有的文章搭建出来只可以把服务启动起来，但是跑mapreduce任务会有问题。问题也就是配置文件导致的， 本篇文章的配置文件比较齐全，配置完成后跑mapreduce大概率不会有问题。切记zk不要安装3.4.x 要安装3.6.x 不然会出现RM无法启动。只需要添加jdk的环境变量即可。只需要添加jdk的环境变量即可。
hadoop3.3.1HA高可用环境搭建
cc_0101的博客
10-14 1318
hadoop3.3.1HA高可用环境搭建
hadoop-3.1.0启动hadoop集群时还有可能可能会报如下错误
l567891011的博客
06-16 2142
[root@localhost sbin]# start-all.sh Starting namenodes on [hadoop] ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes ERROR: Attempting to operate on hdfs datanode
Hadoop 配置常见问题
03-08 986
Table of Contents /etc/hadoop/hadoop-env.sh Not Found /etc/hadoop/hadoop-env.sh Not Found 问题描述 在装完Hadoop之后，想修改配置文件，但是发现没有/etc/hadoop/hadoop-env.sh。报错 “ls: 无法访问/etc/hadoop/hadoop-env.sh: 没有那个文件或...
Hadoop-HA-3.3.3高可用集群搭建
qq_39604679的博客
05-29 2582
hadoop最新版本的HA高可用集群搭建流程
CentOS7 Hadoop 2.7.X 安装部署.docx
04-29
CentOS7 Hadoop 2.7.X 安装部署
centos6.8下hadoop3.1.1完全分布式安装指南(推荐)
09-14
主要介绍了centos6.8下hadoop3.1.1完全分布式安装指南,本文给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下
CentOS7下Hadoop3.2.1集群的安装与部署（上）
01-07
本篇文章将详细介绍如何在CentOS7服务器上安装并配置Hadoop3.2.1高可用集群。  Hadoop-HA集群的节点规划如下： IP Address Host Name Node Type User Name 172.16.250.234 DN1/JN1 DataNode/...
Hadoop 3.3.0 HA（高可用）集群搭建
l1682686的博客
08-14 3647
Hadoop 3.3.0 HA模式搭建
HDFS编程实践（Hadoop3.3.1）
weixin_46029055的博客
10-08 2044
$ cd /usr/local/hadoop $ ./sbin/start-dfs.sh 我们是在Hadoop伪分布式下去进行HDFS的编程实践 准备工作： vm15.5 hadoop3.3.1 eclipse-java-2021-09-R-linux-gtk-x86_64 参考：林子雨：HDFS编程实践（Hadoop3.1.3）_厦大数据库实验室博客 (xmu.edu.cn) 他使用的是Hadoop3.1.3版本的，过程可能会遇到的坑将在另一篇文章中总结 开始 在HDFS编程实.
Hadoop3.3.1详细教程（五）Hadoop全分布式搭建
Java朱老师博客
08-23 2228
一、haoop解压、创建软连接 将hadoop-3.3.1.tar.gz上传到服务器~/apps下 tar -xf hadoop-3.3.1.tar.gz -C /usr/local 进入/usr/local 后使用 ln -s hadoop-3.3.1 hadoop3 创建一个软连接 二、配置环境变量 在/etc/profile.d下使用vi命令新建hadoop.sh export HADOOP_HOME=/usr/local/hadoop3 export PATH=$PATH:$HADOO
Hadoop3.3.1分布式集群搭建详细教程
忘三日的博客
02-24 2519
Hadoop3.3.1分布式集群搭建详细教程，简单零基础一站式搭建
hadoop3.3.1详细安装与配置
qq_64125090的博客
08-24 2591
hadoop详细配置
大数据集群环境部署(Hadoop-3.3.1 + Hive-3.1.2 + HBase-2.4.4)
smollcat的博客
07-16 4517
typora-root-url: 大数据环境部署.assets Hadoop # 安装解压，移动到/usr/local/src/ export HADOOP_HOME=/usr/local/src/hadoop-3.3.1 export JAVA_HOME=/usr/local/src/jdk1.8.0_211 export export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH # 使用source命令让立即生效 sou.
hadoop 集群HA高可用搭建以及问题解决方案
热门推荐
ZeroTeam_麒麟
02-20 1万+
hadoop 集群HA高可用搭建目录大纲1. hadoop HA原理 2. hadoop HA特点 3. Zookeeper 配置 4. 安装Hadoop集群 5. Hadoop HA配置 搭建环境 环境 版本 地址地址 CentOS 6.5 64x 点击下载 hadoop 2.5.1 点击下载 Zookeeper 3.4.5 点击下载 Hadoop
【大数据】Hadoop-HA-Federation-3.3.1集群高可用联邦安装部署文档（建议收藏哦）
如切如磋，如琢如磨，臻于至善。
02-11 1293
单 NameNode 的架构使得 HDFS 在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，NameNode 进程使用的内存可能会达到上百 G，NameNode 成为了性能的瓶颈。因而提出了 namenode 水平扩展方案-- Federation。Federation 中文意思为联邦,联盟，是 NameNode 的 Federation,也就是会有多个NameNode。
centos7安装hadoop3.3.6
最新发布
09-06
安装Hadoop 3.3.6在CentOS 7上的步骤如下： 1. 首先，你需要下载编译好的Hadoop 3.3.6的压缩包[hadoop-3.3.0-Centos7-64-with-snappy.tar.gz]。 2. 解压该压缩包，你可以使用以下命令：tar zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz。 3. 解压后，你将得到Hadoop的安装路径。在这个例子中，安装路径为/root/hadoop-3.3.0-src/hadoop-dist/target。 4. 接下来，你需要将Hadoop安装包分发到其他节点。你可以使用以下命令将Hadoop安装包复制到其他节点：cd /export/server scp -r hadoop-3.3.0 root@node2:$PWD scp -r hadoop-3.3.0 root@node3:$PWD。 5. 安装包已经成功分发到其他节点后，你可以在每个节点上执行Hadoop的安装和配置步骤。 请注意，以上步骤描述了在CentOS 7上安装Hadoop 3.3.6的大致过程，具体步骤可能因实际环境而有所不同。建议在安装过程中参考Hadoop官方文档以获取更详细的指导和最新的安装步骤。 :编译好的Hadoop 3.3.6的压缩包 :编译之后的安装包路径 :分发同步Hadoop安装包<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [Hadoop3 Centos 7编译安装和文件配置（内附编译好的包）](https://blog.csdn.net/weixin_58808338/article/details/128814319)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值