Centos7上Hadoop 3.3.1的分布式集群安装过程

已于 2024-07-05 16:35:35 修改
阅读量652 收藏 2
点赞数
分类专栏： 分布式计算 文章标签： hadoop 3.3.1 分布式集群 安装部署 centos7
于 2022-07-12 08:33:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yy8623977/article/details/124408440
版权

目录

同样适用于Hadoop 3.0.0

1. 集群规划

  • 每台服务器相互设置ssh无密码登录，注意authorized_keys权限为600。可以用ssh-copy-id hostname将本机的id_rsa.pub内容复制到远程服务器的.ssh/authorized_key中
服务名安装服务器
java8bigdata001/2/3
NameNodebigdata001
DataNodebigdata002/3
ResourceManagerbigdata001
NodeManagerbigdata002/3

2. 下载(在bigdata001操作)

执行下面的命令进行下载和解压

curl -O https://ftp.nluug.nl/internet/apache/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

tar -zxvf hadoop-3.3.1.tar.gz

进入hadoop目录

[root@bigdata001 opt]# 
[root@bigdata001 opt]# cd hadoop-3.3.1
[root@bigdata001 hadoop-3.3.1]# 
[root@bigdata001 hadoop-3.3.1]# pwd
/opt/hadoop-3.3.1
[root@bigdata001 hadoop-3.3.1]#

3. 配置文件修改(在bigdata001操作)

3.1 hadoop-env.sh

创建pids和logs文件

[root@bigdata001 hadoop-3.3.1]# 
[root@bigdata001 hadoop-3.3.1]# mkdir pids				
[root@bigdata001 hadoop-3.3.1]# 
[root@bigdata001 hadoop-3.3.1]# mkdir logs				
[root@bigdata001 hadoop-3.3.1]# 
[root@bigdata001 hadoop-3.3.1]# ls
bin  etc  include  lib  libexec  LICENSE-binary  licenses-binary  LICENSE.txt  logs  NOTICE-binary  NOTICE.txt  pids  README.txt  sbin  share
[root@bigdata001 hadoop-3.3.1]#
[root@bigdata001 hadoop-3.3.1]# pwd
/opt/hadoop-3.3.1
[root@bigdata001 hadoop-3.3.1]#

修改etc/hadoop/hadoop-env.sh文件

修改部分：

export JAVA_HOME=/opt/jdk1.8.0_201       
export HADOOP_PID_DIR=/opt/hadoop-3.3.1/pids				
export HADOOP_LOG_DIR=/opt/hadoop-3.3.1/logs				

export HDFS_NAMENODE_USER=root

添加部分

export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

3.2 core-site.xml

修改etc/hadoop/core-site.xml

添加部分:

    <property>
        <name>fs.defaultFS</name>		
        <value>hdfs://bigdata001:9000</value>
    </property>
    
    <property>
        <name>io.file.buffer.size</name>				
        <value>131072</value>
    </property>

    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
        <description>Hadoop的超级用户root能代理的节点</description>
    </property>

    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
        <description>Hadoop的超级用户root能代理的用户组</description>
    </property>

3.3 hdfs-site.xml

修改etc/hadoop/hdfs-site.xml

添加namenode和datanode文件夹

[root@bigdata001 hadoop-3.3.1]# 
[root@bigdata001 hadoop-3.3.1]# mkdir namenode
[root@bigdata001 hadoop-3.3.1]# 
[root@bigdata001 hadoop-3.3.1]# mkdir datanode
[root@bigdata001 hadoop-3.3.1]# 
[root@bigdata001 hadoop-3.3.1]# pwd
/opt/hadoop-3.3.1
[root@bigdata001 hadoop-3.3.1]#

添加部分:

    <property>
        <name>dfs.replication</name>			
        <value>1</value>
    </property>

    <property>
        <name>dfs.namenode.name.dir</name>				
        <value>/opt/hadoop-3.3.1/namenode</value>
    </property>
	
    <property>
        <name>dfs.blocksize</name>					
        <value>268435456</value>
    </property>

    <property>
        <name>dfs.namenode.handler.count</name>			
        <value>100</value>
    </property>
    
    <property>
        <name>dfs.datanode.data.dir</name>					
        <value>/opt/hadoop-3.3.1/datanode</value>
    </property>

3.4 mapred-site.xml

修改etc/hadoop/mapred-site.xml

添加部分：

    <property>
        <name>mapreduce.framework.name</name>		
        <value>yarn</value>
    </property>

3.5 yarn-site.xml

修改etc/hadoop/yarn-site.xml

[root@bigdata001 hadoop-3.3.1]# 
[root@bigdata001 hadoop-3.3.1]# pwd
/opt/hadoop-3.3.1
[root@bigdata001 hadoop-3.3.1]# 
[root@bigdata001 hadoop-3.3.1]# mkdir nm-local-dir
[root@bigdata001 hadoop-3.3.1]# mkdir nm-log-dir
[root@bigdata001 hadoop-3.3.1]# mkdir nm-remote-app-log-dir
[root@bigdata001 hadoop-3.3.1]#

添加部分：


    <property>
        <name>yarn.acl.enable</name>				
        <value>false</value>
    </property>

    <property>
        <name>yarn.log-aggregation-enable</name>			
        <value>false</value>
    </property>

    <property>
        <name>yarn.resourcemanager.address</name>					
        <value>${yarn.resourcemanager.hostname}:8032</value>
    </property>
	
	
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>			
        <value>${yarn.resourcemanager.hostname}:8030</value>
    </property>
	
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>			
        <value>${yarn.resourcemanager.hostname}:8031</value>
    </property>
	
    <property>
        <name>yarn.resourcemanager.admin.address</name>			
        <value>${yarn.resourcemanager.hostname}:8033</value>
    </property>

    <property>
        <name>yarn.resourcemanager.webapp.address</name>		
        <value>${yarn.resourcemanager.hostname}:8088</value>
    </property>
	
    <property>
        <name>yarn.resourcemanager.hostname</name>   			
        <value>bigdata001</value>
    </property>
	
    <property>
        <name>yarn.resourcemanager.scheduler.class</name>			
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
    </property>
	
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>			
        <value>1024</value>
    </property>
	
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>			
        <value>8192</value>
    </property>
	
    <property>
        <name>yarn.resourcemanager.nodes.include-path</name>			
        <value></value>
    </property>
	
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>			
        <value>8192</value>
    </property>

    <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>				
        <value>2.1</value>
    </property>
	
    <property>
        <name>yarn.nodemanager.local-dirs</name>				
        <value>/opt/hadoop-3.3.1/nm-local-dir</value>
    </property>
	
    <property>
        <name>yarn.nodemanager.log-dirs</name>				
        <value>/opt/hadoop-3.3.1/nm-log-dir</value>
    </property>
	
    <property>
        <name>yarn.nodemanager.log.retain-seconds</name>				
        <value>10800</value>
    </property>
	
    <property>
        <name>yarn.nodemanager.remote-app-log-dir</name>			
        <value>/opt/hadoop-3.3.1/nm-remote-app-log-dir</value>
    </property>
	
    <property>
        <name>yarn.nodemanager.remote-app-log-dir-suffix</name>			
        <value>logs</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>			
        <value>mapreduce_shuffle</value>
    </property>

    <property>
        <name>yarn.nodemanager.env-whitelist</name>				
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value>
    </property>

3.6 修改workers文件

bigdata002			
bigdata003

4. hadoop目录分发（在bigdata001操作)

将bigdata001上配置的hadoop目录分发到其余两台服务器

[root@bigdata001 opt]# scp -r /opt/hadoop-3.3.1 root@bigdata002:/opt
[root@bigdata001 opt]# scp -r /opt/hadoop-3.3.1 root@bigdata003:/opt

5. 初始化和启动（在bigdata001操作)

5.1 添加环境变量

  1. /etc/profile添加内容如下：
export HADOOP_HOME=/opt/hadoop-3.3.1

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  1. 使环境变量生效
[root@bigdata001 ~]# 
[root@bigdata001 ~]# source /etc/profile
[root@bigdata001 ~]#

5.2 HDFS

hdfs初始化

[root@bigdata001 opt]#
[root@bigdata001 opt]# hdfs namenode -format		
[root@bigdata001 opt]#

启动hdfs

[root@bigdata001 opt]#
[root@bigdata001 opt]# start-dfs.sh										
[root@bigdata001 opt]#
  1. 访问http://bigdata001:9870
    HDFS页面

5.3 YARN

启动yarn

[root@bigdata001 opt]# 
[root@bigdata001 opt]# start-yarn.sh													
[root@bigdata001 opt]#

访问http://bigdata001:8088

Yarn页面

centos7安装配置hadoop-3.3.1(安装实验手册 修改版)
qq_52758947的博客
12-03 824
实验环境的配置PC机。linux操作系统1. 首先安装rsync2.关闭防火墙并禁止防火墙开机启动实验内容与具体步骤3. 添加hadoop用户和设置hadoop用户的密码4. 上传jdk和hadoop安装包5. 将jdk解压6. 配置环境变量修改:/etc/profile文件,在末尾加上下面两句话export JAVA_HOME=/usr/local/ jdk1.8.0_111export PATH=$JAVA_HOME/bin:$PATH7.使/etc/profile生效并测试Java环境8. 解压
Hadoop全分布式集群（3.3.1版本）CentOS7
weixin_46029055的博客
09-30 675
参考了林子雨的教程Hadoop集群安装配置教程_Hadoop3.1.3_Ubuntu_厦大数据库实验室博客 但他使用的是ubuntu 的，在一些方面和centos还是不同 Hadoop的安装同样可以参考：Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0_厦大数据库实验室博客 Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)_厦大数据库实验室博客e 但是centos版本的太过时了，我同样通过查询学习，整理了一
使用jdk17 搭建Hadoop3.3.5和Spark3.3.2 on Yarn集群模式
qq_37354060的博客
04-12 4796
把**.pub**文件打开，复制出里面的内容，把内容复制到一个临时的txt中，我复制到了windows桌面的一个文件里。现在，四台虚拟机已经都安装了Spark，并且环境变量已经配置成功，下面就是启动Spark了。至此，一台虚拟机的spark配置完毕，接下来配置其他虚拟器，过程与该虚拟机配置过程一致。这里我使用的是Centos8.5，虚拟机外存20G，内存4G，我安装的是带桌面版的。此时直接进来了，说明互信成功，接下来退出去，与其他虚拟机互信，自己与自己也互信一次。
CentOS7搭建Hadoop3集群教程
最新发布
如意机反光镜裸的博客
09-20 608
1、用VMware安装3台Centos7虚拟机2、虚拟机配置：2C，2G内存，50G存储3、集群架构设计从表格中，可以看出，Hadoop集群，主要有2个模块服务，一个是HDFS服务，一个是YARN服务。
CentOS7下搭建Hadoop(3.3.1)集群
weixin_43747691的博客
08-11 948
CentOS7 下搭建Hadoop(3.3.1)集群，三台虚拟机
hadoop3.3.1集群搭建
weixin_38751513的博客
01-13 1003
hadoop
一、CentOS7 hadoop3.3.1安装(单机分布式、伪分布式、分布式)
m0_52426915的博客
10-13 1960
前言 官方镜像下载地址: Centos，hadoop，Java Centos为CentOS-7-x86_64-DVD-2009 Hadoop为hadoop-3.3.0.tar.gz Java为jdk-8u301-linux-x64.tar.gz PS：Hadoop3.X Java最低版本为1.8 纯原生态安装，非CDH和HDP，或是Ambari 预先设置 修改主机名 修改 /etc/sysconfig/network中的hostname vi /etc/sysconfig/network中的hostname
Hadoop3.3.1完全分布式安装Centos7.x
Dashujuzhiwang的博客
03-13 1508
需要把所有数据节点的主机名写入该文件，每行一个，默认为 localhost（即把本机作为数据节点），所以，在伪分布式配置时，就采用了这种默认的配置，使得节点既作为名称节点也作为数据节点。在进行分布式配置时，可以保留localhost，让Master节点同时充当名称节点和数据节点，或者也可以删掉localhost这行，让Master节点仅作为名称节点使用。但是，本教程只有一个Slave节点作为数据节点，即集群中只有一个数据节点，数据只能保存一份，所以 ，dfs.replication的值还是设置为 1。
Centos8中Hadoop3.3.1安装详细过程（含图文）
weixin_42609366的博客
11-16 2683
Hadoop的核心由3个部分组成：HDFS: Hadoop Distributed File System，分布式文件系统，hdfs还可以再细分为NameNode、SecondaryNameNode、DataNode。YARN: Yet Another Resource Negotiator，资源管理调度系统Mapreduce：分布式运算框架下面介绍安装 Hadoop。
Hadoop3.3.1+centos7 2009 完全分布式最新版配置教程
03-20
Hadoop3.3.1+CentOS7完全分布式最新版配置教程 本文档旨在指导读者完成Hadoop3.3.1在CentOS...本教程涵盖了Hadoop3.3.1在CentOS7上的完全分布式配置，旨在指导读者完成Hadoop的安装和配置，实现分布式计算和存储系统。
Hadoop完全分布式基于centos7
m0_74295452的博客
04-24 847
Hadoop的完全分布式集群搭建基于centos7系统教程
软件安装之【jdk1.8安装】
u012374672的专栏
09-18 201
安装步骤： 1. 查看当前系统是否已自带jdk： java -version 如系统自带先卸载，卸载系统已安装jdk步骤如下： 1.1 卸载系统自带的jdk版本： 查看系统自带的jdk： rpm -qa | grep gcj 看到如下信息： libgcj-4.1.2-44.el5 java-1.4.2-gcj-compat-1.4.2.0-40jpp.115 使用rpm -e --no...
Hadoop安装(3.3.1)
weixin_41083358的博客
12-08 1647
Hadoop安装 1.设置主机名 hostname hadoop01 #设置临时主机名 vi /etc/hostname #设置永久主机名 2.设置hosts vi /etc/hosts 192.168.136.103 hadoop01 192.168.136.104 hadoop02 192.168.136.105 hadoop03 1.下载hadoop安装包 wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/
Centos7安装Hadoop3.3.1(单机版本)
fen_fen的专栏
04-05 1183
Centos7安装Hadoop3.3.1(单机版本)
CentOS 7 搭建 Hadoop3.3.1集群
CSDN1csdn1的博客
03-30 376
如上面讲的是 Master 节点的配置，而在其他的 Slave 节点上，也要对 /etc/hostname（修改为 Slave1、Slave2 等） 和 /etc/hosts（跟 Master 的配置一样）这两个文件进行修改！如果有其他 Slave 节点，也要执行将 Master 公匙传输到 Slave 节点、在 Slave 节点上加入授权这两步。配置好后，将 Master 上的 /usr/local/Hadoop 文件夹。CentOS系统默认开启了防火墙，在开启 Hadoop 集群之前，需要。
Hadoop3.3.1分布式集群搭建详细教程
忘三日的博客
02-24 3276
Hadoop3.3.1分布式集群搭建详细教程，简单零基础一站式搭建
Hadoop架构介绍——Hadoop的三种运行模式
11-10 9619
三种模式 单机模式 伪分布式模式 完全分布式模式 单机模式 1.默认模式 2.不对配置文件进行修改 3.使用本地文件系统 4.Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程 5.用于对MapReduce程序的逻辑进行调试 伪分布式模式 1.在一台主机模拟多主机 2.每个守护进程都以Java进程的
Linux CentOS 7 搭建 Hadoop3 分布式集群
刘李404not_found的博客
04-25 1886
一、准备三台服务器 需要安装JDK： https://blog.csdn.net/qq_39680564/article/details/82768938 需要配置免秘钥与修改主机名： https://blog.csdn.net/qq_39680564/article/details/89498678 需要安装zookeeper集群 https://blog.csdn.net/qq_3968056...
Hadoop学习笔记：CentOS 7平台上搭建Hadoop 3.3.1集群模式（3节点）
GeekDongHuang的博客
12-19 2597
一、搭建过程 步骤： 1、准备安装环境 1、虚拟机装好CentOS 7系统，一共三个系统，分别命名为：node1、node2、node3 2、每个系统都卸载系统自带的openjdk 3、安装jdk1.8，并配置环境变量 4、设置IP 5、修改主机名 6、配置hosts文件 7、关闭防火墙 8、禁用selinux 9、设置SSH免密码登陆 10、最后设置完要重启系统 2、集群规划 2.1、设置每个节点的进程 Hadoop集群上有HDFS集群和YARN集群 HDFS集群有三个守护进程： 1、NameN
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值