Centos7上Hadoop 3.3.1的分布式集群安装过程

已于 2024-07-05 16:35:35 修改
阅读量515 收藏 2
点赞数
分类专栏： 分布式计算 文章标签： hadoop 3.3.1 分布式集群 安装部署 centos7
于 2022-07-12 08:33:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yy8623977/article/details/124408440
版权

目录

同样适用于Hadoop 3.0.0

1. 集群规划

  • 每台服务器相互设置ssh无密码登录，注意authorized_keys权限为600。可以用ssh-copy-id hostname将本机的id_rsa.pub内容复制到远程服务器的.ssh/authorized_key中
服务名安装服务器
java8bigdata001/2/3
NameNodebigdata001
DataNodebigdata002/3
ResourceManagerbigdata001
NodeManagerbigdata002/3

2. 下载(在bigdata001操作)

执行下面的命令进行下载和解压

curl -O https://ftp.nluug.nl/internet/apache/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

tar -zxvf hadoop-3.3.1.tar.gz

进入hadoop目录

[root@bigdata001 opt]# 
[root@bigdata001 opt]# cd hadoop-3.3.1
[root@bigdata001 hadoop-3.3.1]# 
[root@bigdata001 hadoop-3.3.1]# pwd
/opt/hadoop-3.3.1
[root@bigdata001 hadoop-3.3.1]#

3. 配置文件修改(在bigdata001操作)

3.1 hadoop-env.sh

创建pids和logs文件

[root@bigdata001 hadoop-3.3.1]# 
[root@bigdata001 hadoop-3.3.1]# mkdir pids				
[root@bigdata001 hadoop-3.3.1]# 
[root@bigdata001 hadoop-3.3.1]# mkdir logs				
[root@bigdata001 hadoop-3.3.1]# 
[root@bigdata001 hadoop-3.3.1]# ls
bin  etc  include  lib  libexec  LICENSE-binary  licenses-binary  LICENSE.txt  logs  NOTICE-binary  NOTICE.txt  pids  README.txt  sbin  share
[root@bigdata001 hadoop-3.3.1]#
[root@bigdata001 hadoop-3.3.1]# pwd
/opt/hadoop-3.3.1
[root@bigdata001 hadoop-3.3.1]#

修改etc/hadoop/hadoop-env.sh文件

修改部分：

export JAVA_HOME=/opt/jdk1.8.0_201       
export HADOOP_PID_DIR=/opt/hadoop-3.3.1/pids				
export HADOOP_LOG_DIR=/opt/hadoop-3.3.1/logs				

export HDFS_NAMENODE_USER=root

添加部分

export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

3.2 core-site.xml

修改etc/hadoop/core-site.xml

添加部分:

    <property>
        <name>fs.defaultFS</name>		
        <value>hdfs://bigdata001:9000</value>
    </property>
    
    <property>
        <name>io.file.buffer.size</name>				
        <value>131072</value>
    </property>

    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
        <description>Hadoop的超级用户root能代理的节点</description>
    </property>

    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
        <description>Hadoop的超级用户root能代理的用户组</description>
    </property>

3.3 hdfs-site.xml

修改etc/hadoop/hdfs-site.xml

添加namenode和datanode文件夹

[root@bigdata001 hadoop-3.3.1]# 
[root@bigdata001 hadoop-3.3.1]# mkdir namenode
[root@bigdata001 hadoop-3.3.1]# 
[root@bigdata001 hadoop-3.3.1]# mkdir datanode
[root@bigdata001 hadoop-3.3.1]# 
[root@bigdata001 hadoop-3.3.1]# pwd
/opt/hadoop-3.3.1
[root@bigdata001 hadoop-3.3.1]#

添加部分:

    <property>
        <name>dfs.replication</name>			
        <value>1</value>
    </property>

    <property>
        <name>dfs.namenode.name.dir</name>				
        <value>/opt/hadoop-3.3.1/namenode</value>
    </property>
	
    <property>
        <name>dfs.blocksize</name>					
        <value>268435456</value>
    </property>

    <property>
        <name>dfs.namenode.handler.count</name>			
        <value>100</value>
    </property>
    
    <property>
        <name>dfs.datanode.data.dir</name>					
        <value>/opt/hadoop-3.3.1/datanode</value>
    </property>

3.4 mapred-site.xml

修改etc/hadoop/mapred-site.xml

添加部分：

    <property>
        <name>mapreduce.framework.name</name>		
        <value>yarn</value>
    </property>

3.5 yarn-site.xml

修改etc/hadoop/yarn-site.xml

[root@bigdata001 hadoop-3.3.1]# 
[root@bigdata001 hadoop-3.3.1]# pwd
/opt/hadoop-3.3.1
[root@bigdata001 hadoop-3.3.1]# 
[root@bigdata001 hadoop-3.3.1]# mkdir nm-local-dir
[root@bigdata001 hadoop-3.3.1]# mkdir nm-log-dir
[root@bigdata001 hadoop-3.3.1]# mkdir nm-remote-app-log-dir
[root@bigdata001 hadoop-3.3.1]#

添加部分：


    <property>
        <name>yarn.acl.enable</name>				
        <value>false</value>
    </property>

    <property>
        <name>yarn.log-aggregation-enable</name>			
        <value>false</value>
    </property>

    <property>
        <name>yarn.resourcemanager.address</name>					
        <value>${yarn.resourcemanager.hostname}:8032</value>
    </property>
	
	
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>			
        <value>${yarn.resourcemanager.hostname}:8030</value>
    </property>
	
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>			
        <value>${yarn.resourcemanager.hostname}:8031</value>
    </property>
	
    <property>
        <name>yarn.resourcemanager.admin.address</name>			
        <value>${yarn.resourcemanager.hostname}:8033</value>
    </property>

    <property>
        <name>yarn.resourcemanager.webapp.address</name>		
        <value>${yarn.resourcemanager.hostname}:8088</value>
    </property>
	
    <property>
        <name>yarn.resourcemanager.hostname</name>   			
        <value>bigdata001</value>
    </property>
	
    <property>
        <name>yarn.resourcemanager.scheduler.class</name>			
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
    </property>
	
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>			
        <value>1024</value>
    </property>
	
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>			
        <value>8192</value>
    </property>
	
    <property>
        <name>yarn.resourcemanager.nodes.include-path</name>			
        <value></value>
    </property>
	
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>			
        <value>8192</value>
    </property>

    <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>				
        <value>2.1</value>
    </property>
	
    <property>
        <name>yarn.nodemanager.local-dirs</name>				
        <value>/opt/hadoop-3.3.1/nm-local-dir</value>
    </property>
	
    <property>
        <name>yarn.nodemanager.log-dirs</name>				
        <value>/opt/hadoop-3.3.1/nm-log-dir</value>
    </property>
	
    <property>
        <name>yarn.nodemanager.log.retain-seconds</name>				
        <value>10800</value>
    </property>
	
    <property>
        <name>yarn.nodemanager.remote-app-log-dir</name>			
        <value>/opt/hadoop-3.3.1/nm-remote-app-log-dir</value>
    </property>
	
    <property>
        <name>yarn.nodemanager.remote-app-log-dir-suffix</name>			
        <value>logs</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>			
        <value>mapreduce_shuffle</value>
    </property>

    <property>
        <name>yarn.nodemanager.env-whitelist</name>				
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value>
    </property>

3.6 修改workers文件

bigdata002			
bigdata003

4. hadoop目录分发（在bigdata001操作)

将bigdata001上配置的hadoop目录分发到其余两台服务器

[root@bigdata001 opt]# scp -r /opt/hadoop-3.3.1 root@bigdata002:/opt
[root@bigdata001 opt]# scp -r /opt/hadoop-3.3.1 root@bigdata003:/opt

5. 初始化和启动（在bigdata001操作)

5.1 添加环境变量

  1. /etc/profile添加内容如下：
export HADOOP_HOME=/opt/hadoop-3.3.1

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  1. 使环境变量生效
[root@bigdata001 ~]# 
[root@bigdata001 ~]# source /etc/profile
[root@bigdata001 ~]#

5.2 HDFS

hdfs初始化

[root@bigdata001 opt]#
[root@bigdata001 opt]# hdfs namenode -format		
[root@bigdata001 opt]#

启动hdfs

[root@bigdata001 opt]#
[root@bigdata001 opt]# start-dfs.sh										
[root@bigdata001 opt]#
  1. 访问http://bigdata001:9870
    HDFS页面

5.3 YARN

启动yarn

[root@bigdata001 opt]# 
[root@bigdata001 opt]# start-yarn.sh													
[root@bigdata001 opt]#

访问http://bigdata001:8088

Yarn页面

Bulut0907
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CentOS7搭建Hadoop-3.3.0集群手记
Throwable
12-14 5672
前提这篇文章是基于Linux系统CentOS7搭建Hadoop-3.3.0分布式集群的详细手记。基本概念Hadoop中的HDFS和YARN都是主从架构，主从架构会有一主多从和多主多从两种...
Centos8安装 Hadoop3 详细操作（含图文）
haoweixl的博客
01-14 6934
Centos中Hadoop安装详细过程（含图文）一、创建hadoop用户二、安装SSH、配置SSH无密码登录三、安装jdk环境四、安装 Hadoop 3五、配置hadoop环境变量六、配置Hadoop伪分布式配置对 Hadoop 的几个配置文件进行配置3. 修改配置文件 core-site.xml修改配置文件 hdfs-site.xml：vim hadoop-env.sh 配置成你自己的jdk安装路径配置 mapred-site.xml配置yarn-site.xml Hadoop的核心由3个部分组成：
在CentOS7.5上搭建Hadoop3.x
llangzh的博客
11-08 253
转载地址 这篇文章只是自用，更详细的上面地址 1、设定SSH免密登录 [root@master ~]# yum install rsync [root@master ~]# ssh-keygen -t rsa -P ‘ ‘ -f ~/.ssh/id_rsa [root@master ~]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 注：①第一行命令rsync是一个文件同步和传输工具。rsync是用 “rsync 算法”提供了一个客
CentOS7下搭建Hadoop(3.3.1)集群
weixin_43747691的博客
08-11 754
CentOS7 下搭建Hadoop(3.3.1)集群，三台虚拟机
Hadoop3.3.1详细教程（五）Hadoop全分布式搭建
Java朱老师博客
08-23 2251
一、haoop解压、创建软连接 将hadoop-3.3.1.tar.gz上传到服务器~/apps下 tar -xf hadoop-3.3.1.tar.gz -C /usr/local 进入/usr/local 后使用 ln -s hadoop-3.3.1 hadoop3 创建一个软连接 二、配置环境变量 在/etc/profile.d下使用vi命令新建hadoop.sh export HADOOP_HOME=/usr/local/hadoop3 export PATH=$PATH:$HADOO
Centos7+hadoop2.6.0分布式集群搭建
01-21
Centos7上搭建hadoop2.6.0分布式系统，教程超详细! 搭建过程中如果有什么疑问可以邮我1668544151@qq.com 单机搭建伪分布式也适用！
centos6.8下hadoop3.1.1完全分布式安装指南(推荐)
09-14
主要介绍了centos6.8下hadoop3.1.1完全分布式安装指南,本文给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下
2.Hadoop3.2.1分布式集群安装
01-20
Hadoop3.2.1 分布式集群安装 1.准备环境： 3 台 linux 虚拟机(CentOs7.x 64 位) ip 为： 192.168.2.100 192.168.2.101 192.168.2.102 对应的 hostname 为： hadoop100 hadoop101 hadoop102 2.虚拟机基本环境配置： ...
centos6.2下hadoop全分布式集群
10-08
centos6.2下hadoop全分布式集群配置
Hadoop3.3.1+centos7 2009 完全分布式最新版配置教程
03-20
Hadoop3.3.1+CentOS7完全分布式最新版配置教程 本文档旨在指导读者完成Hadoop3.3.1在CentOS...本教程涵盖了Hadoop3.3.1在CentOS7上的完全分布式配置，旨在指导读者完成Hadoop的安装和配置，实现分布式计算和存储系统。
Hbase3.0.0及Hadoop3.3.1集群搭建(一)
weixin_43114209的博客
05-11 5296
1.概述 HBase是Hadoop数据库，一种分布式、可扩展的大数据存储。当您需要对大数据进行随机、实时的读/写访问时，推荐使用HBase。该项目的目标是在商用硬件集群上托管非常大的表——数十亿行 X 数百万列。HBase 是一个开源、分布式、版本化、非关系型数据库，基于 Google 的Bigtable 等的结构化数据的分布式存储系统开发。正如 Bigtable 利用 Google 文件系统提供的分布式数据存储一样， HBase 在 Hadoop 和 HDFS 之上提供了类似 Bigtable 的功能。
软件安装之【jdk1.8安装】
u012374672的专栏
09-18 180
安装步骤： 1. 查看当前系统是否已自带jdk： java -version 如系统自带先卸载，卸载系统已安装jdk步骤如下： 1.1 卸载系统自带的jdk版本： 查看系统自带的jdk： rpm -qa | grep gcj 看到如下信息： libgcj-4.1.2-44.el5 java-1.4.2-gcj-compat-1.4.2.0-40jpp.115 使用rpm -e --no...
hadoop集群分布式环境搭建
HESHIQI9927的博客
10-03 1044
hadoop集群分布式环境配置
hadoop 3.2.1集群高可用(HA)搭建
半斤米粉闯天下的博客
02-19 3600
规划 共三台机器，目标是搭建一套配置了HA的双副本hadoop集群，关于zkfc，journalnode的详细原理不再赘述，集群详细规划如下： namenode datanode journalnode ZKFC master * * * slave1 * * * * slave1 * * * 出于简单方便，我个人并没有使用zookeeper集群，而是在docke...
hadoop 3.X超详细搭建集群
weixin_43576022的博客
04-21 1916
之前集群搭建过hadoop2.6和2.7，但是听说hadoop3.x有新特性，减少了IO的次数，据介绍并行计算能力是spark的10倍...
Hadoop全分布式集群（3.3.1版本）CentOS7
weixin_46029055的博客
09-30 641
参考了林子雨的教程Hadoop集群安装配置教程_Hadoop3.1.3_Ubuntu_厦大数据库实验室博客 但他使用的是ubuntu 的，在一些方面和centos还是不同 Hadoop的安装同样可以参考：Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0_厦大数据库实验室博客 Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)_厦大数据库实验室博客e 但是centos版本的太过时了，我同样通过查询学习，整理了一
hadoop 3.3大数据集群搭建系列1-安装hadoop
只是甲的博客
11-16 1534
hadoop大数据平台搭建 MapReduce HDFS Yarn Hadoop Common
hadoop3.2.1完全分布式集群安装
zzq的博客
03-08 6172
版本：Centos7 Haddop3.2.1 JDK1.8 本次安装用到的单台虚拟机如下： 装备工作： 在安装前先要确保三台服务器之间能够ping通
如何在CentOS 7上搭建Hadoop 3.3.1集群？
最新发布
04-28
搭建Hadoop集群的步骤如下： 1. 安装Java 首先需要安装Java，Hadoop需要Java环境才能运行。可以使用以下命令安装Java： ``` sudo yum install java-1.8.0-...以上就是在CentOS 7上搭建Hadoop 3.3.1集群的步骤。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值