Linux CentOS 7 搭建 Hadoop3 分布式集群

已于 2022-11-28 10:05:09 修改
阅读量1.8k 收藏 11
点赞数 1
分类专栏： Hadoop 文章标签： Hadoop集群 大数据
于 2019-04-25 11:53:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39680564/article/details/89513162
版权

文章目录

一、准备三台服务器

需要安装JDK：
https://blog.csdn.net/qq_39680564/article/details/82768938
需要配置免秘钥与修改主机名：
https://blog.csdn.net/qq_39680564/article/details/89498678
需要安装zookeeper集群
https://blog.csdn.net/qq_39680564/article/details/89500281

IP主机名HDFSMapReduce/Yarn
192.168.1.159server1NameNodeResourceManager
192.168.1.198server2DataNodeNodeManager
192.168.1.199server3DataNodeNodeManager

二、下载解压Hadoop包（三台服务器同步操作）

cd /opt/
wget http://archive.apache.org/dist/hadoop/core/hadoop-3.0.3/hadoop-3.0.3.tar.gz
tar -zxvf hadoop-3.0.3.tar.gz

三、配置环境变量（三台服务器同步操作）

vim ~/.bashrc

新增内容
在这里插入图片描述

export HADOOP_HOME=/opt/hadoop-3.0.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

刷新查看是否设置成功

[root@server1 opt]# source ~/.bashrc
[root@server1 opt]# echo $HADOOP_HOME
/opt/hadoop-3.0.3

四、修改配置文件（三台服务器同步操作）

除了4.5、4.6、4.7三步之外，其他操作三台同步操作

4.1 修改hadoop-env.sh文件

vim /opt/hadoop-3.0.3/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/opt/jdk-1.8
export HADOOP_HOME=/opt/hadoop-3.0.3

如图：
在这里插入图片描述

4.2 修改core-site.xml文件

vim /opt/hadoop-3.0.3/etc/hadoop/core-site.xml

<property>
  <name>fs.default.name</name>
  <value>hdfs://server1:9000</value>
</property>

如图：
在这里插入图片描述

4.3 修改yarn-site.xml文件

vim /opt/hadoop-3.0.3/etc/hadoop/yarn-site.xml

<property>
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <value>server1:8025</value>
</property>
<property>
  <name>yarn.resourcemanager.scheduler.address</name>
  <value>server1:8030</value>
</property>
<property>
  <name>yarn.resourcemanager.address</name>
  <value>server1:8050</value>
</property>

如图：
在这里插入图片描述

4.4 修改mapred-site.xml文件

vim /opt/hadoop-3.0.3/etc/hadoop/mapred-site.xml

<property>
  <name>mapred.job.tracker</name>
  <value>server1:54311</value>
</property>
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>

如图：
在这里插入图片描述

4.5 修改hdfs-site.xml文件（server1）

mkdir -p /data/hadoop/hadoop_data/hdfs/namenode
chown -R root:root /data/hadoop

vim /opt/hadoop-3.0.3/etc/hadoop/hdfs-site.xml

<property>
  <name>dfs.replication</name>
  <value>2</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value> file:/data/hadoop/hadoop_data/hdfs/namenode</value>
</property>

如图：
在这里插入图片描述

4.6 修改hdfs-site.xml文件（server2）

mkdir -p /data/hadoop/hadoop_data/hdfs/datanode
chown -R root:root /data/hadoop

vim /opt/hadoop-3.0.3/etc/hadoop/hdfs-site.xml

<property>
  <name>dfs.replication</name>
  <value>2</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value> file:/data/hadoop/hadoop_data/hdfs/datanode</value>
</property>

如图：
在这里插入图片描述

4.7 修改hdfs-site.xml文件（server3）

mkdir -p /data/hadoop/hadoop_data/hdfs/datanode
chown -R root:root /data/hadoop

vim /opt/hadoop-3.0.3/etc/hadoop/hdfs-site.xml

<property>
  <name>dfs.replication</name>
  <value>2</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value> file:/data/hadoop/hadoop_data/hdfs/datanode</value>
</property>

如图：
在这里插入图片描述

4.8 修改workers文件

vim /opt/hadoop-3.0.3/etc/hadoop/workers

server2
server3

如图：
在这里插入图片描述

4.9 修改start-dfs.sh和stop-dfs.sh文件

vim /opt/hadoop-3.0.3/sbin/start-dfs.sh
vim /opt/hadoop-3.0.3/sbin/stop-dfs.sh

分别在文首添加

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

如图：
在这里插入图片描述
在这里插入图片描述

4.10 修改start-yarn.sh和stop-yarn.sh文件

vim /opt/hadoop-3.0.3/sbin/start-yarn.sh
vim /opt/hadoop-3.0.3/sbin/stop-yarn.sh

分别在文首添加

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

如图：
在这里插入图片描述
在这里插入图片描述

五、启动Hadoop集群

5.1初始化NameNode

/opt/hadoop-3.0.3/bin/hadoop namenode -format

初始化成功，为0成功
在这里插入图片描述

5.2启动HDFS（在server1上启动）

/opt/hadoop-3.0.3/sbin/start-dfs.sh

[root@server1 hadoop-3.0.3]# /opt/hadoop-3.0.3/sbin/start-dfs.sh 
Starting namenodes on [server1]
上一次登录：四 4月 25 09:05:00 CST 2019从 192.168.1.168pts/0 上
server1: Warning: Permanently added 'server1,192.168.1.159' (ECDSA) to the list of known hosts.
Starting datanodes
上一次登录：四 4月 25 10:48:37 CST 2019pts/0 上
server2: WARNING: /opt/hadoop-3.0.3/logs does not exist. Creating.
server3: WARNING: /opt/hadoop-3.0.3/logs does not exist. Creating.
Starting secondary namenodes [server1]
上一次登录：四 4月 25 10:48:40 CST 2019pts/0 上
2019-04-25 10:48:51,818 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

如图
在这里插入图片描述

5.3启动yarn（在server1上启动）

/opt/hadoop-3.0.3/sbin/start-yarn.sh

[root@server1 hadoop-3.0.3]# /opt/hadoop-3.0.3/sbin/start-yarn.sh
Starting resourcemanager
上一次登录：四 4月 25 10:48:45 CST 2019pts/0 上
Starting nodemanagers
上一次登录：四 4月 25 10:58:25 CST 2019pts/0 上

如图
在这里插入图片描述

5.4 查看进程

jps分别查看server1、server2、server3的进程

server1
在这里插入图片描述
server2
在这里插入图片描述
server3
在这里插入图片描述
QuorumPeerMain zookeeper的进程
ResourceManager yarn进程
NodeManager yarn进程
SecondaryNameNode HDFS进程
NameNode HDFS进程
DataNode HDFS进程

5.5 访问

http://192.168.1.159:9870/dfshealth.html#tab-overview
在这里插入图片描述
http://192.168.1.198:9864/datanode.html
在这里插入图片描述
http://192.168.1.199:9864/datanode.html
在这里插入图片描述
http://192.168.1.159:8088/cluster
在这里插入图片描述
http://192.168.1.198:8042/node
在这里插入图片描述
http://192.168.1.199:8042/node

在这里插入图片描述

刘李404not found
关注
专栏目录
Centos7+hadoop2.6.0分布式集群搭建
01-21
在CentOS 7上搭建Hadoop 2.6.0分布式集群的详细过程涉及到了多个方面的配置和设置，为了确保整个集群能够高效、稳定地运行，下面将详细解释标题中提及的各个知识点。 ### 1. 配置静态网络（所有节点） 为了让集群中...
Centos7安装配置单节点Hadoop3.0.0
hawkDai5的博客
02-07 3206
本文主要介绍如何在Centos7系统安装和配置单节点Hadoop3.0.0，并运用Hadoop MapReduce和Hadoop分布式文件系统（HDFS）执行wordcount测试样例。资源和环境jdk：jdk-8u11-linux-x64.rpmhadoop：hadoop-3.0.0.tar.gz操作系统：CentOS-7-x86_64系统用户：root安装jdk[root@localhost ...
Centos7 安装Hadoop3 单机版本（伪分布式版本）
zhouzhiwengang的专栏
02-12 1196
切换至Hadoop配置文件所在目录/usr/local/hadoop/etc/hadoop,修改其中的hadoop-env.sh文件。切换至Hadoop配置文件所在目录/usr/local/hadoop/etc/hadoop,修改其中的core-site.xml文件。切换至Hadoop配置文件所在目录/usr/local/hadoop/etc/hadoop,修改其中的hdfs-site.xml文件。将JDK的安装目录/usr/local/jdk 配置到/etc/profile的PATH环境变量中。
CentOS7搭建Hadoop3集群教程
最新发布
如意机反光镜裸的博客
09-20 611
1、用VMware安装3台Centos7虚拟机2、虚拟机配置：2C，2G内存，50G存储3、集群架构设计从表格中，可以看出，Hadoop集群，主要有2个模块服务，一个是HDFS服务，一个是YARN服务。
基于CentOS 7 的 Hadoop3版本分布式环境配置搭建
weixin_46735077的博客
04-05 1525
以下是在VMware虚拟机中安装centos 7去配置hadoop。所以要准备的包查看原本的jdk版本其实原来的openjdk版本也是可用的，但是hadoop3.x不支持较低版本的jdk，所以这里卸载重新安装新版本jdk文件执行yum remove *openjdk* 卸载原来的jdk可以利用yum search openjdk命令查看源中有那些jdk版本，我这里选取的是java-11版本执行 yum install -y “java版本”安装新的jdk。
centos7上搭建hadoop3集群
jyyy1990的博客
03-30 3522
准备工作： 本人是在本地Windows电脑用虚拟机开了3个centos7，模拟集群状态。 所有操作都是在root用户，用其他账号可能会带来问题，建议先在root用户操作，搭建完成没问题了可以用其他账户试试。 一、安装jdk hadoop3最低需要jdk8，所以需要先在每个节点上安装jdk8，下载-解压-配置环境变量，这里不再多说，只要保证最后java -version能运行出来就行，3台机子都要装好。 二、配置机器名称 我的机子：10.0.2.4是node1(master)，10.0.2.15是
centos7创建hadoop3集群
weixin_45843121的博客
10-02 150
1.更新centos7的国内镜像文件（推荐aliyun) wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo 2.下载lrzsz（上传下载文件lrzsz) yum -y install lrzsz 3.创建两个文件夹 创建上传文件的目录 mkdir -p /root/soft 创建安装软件的目录 mkdir -p /root/module 3.进入上传文件的目录上传 cd /..
linux虚拟机搭建hadoop伪分布式集群
04-26
在搭建Hadoop伪分布式集群的过程中，首先需要在Linux环境下配置VMware的NAT网络，确保虚拟机能够稳定地运行和通信。NAT网络允许虚拟机通过宿主机与外部网络进行通信，同时保持IP地址的固定性。具体操作包括取消DHCP...
Centos7 + Hadoop3 搭建伪分布式集群
01-07
操作系统：Centos7 Java：jdk-8u162-linux-x64 hadoop：hadoop-3.2.1 终端连接软件：SecureCRT 关于Centos7的网络配置可以看我的另一篇博客：Centos7的网络配置 一、利用SecureCRT上传文件到root目录 二、关闭...
VM+CentOS+hadoop2.7搭建hadoop完全分布式集群
01-24
### 基于VM+CentOS+hadoop2.7搭建Hadoop完全分布式集群的知识点解析 #### 一、概述 本文旨在详细介绍如何使用VMware Workstation（简称VM）结合CentOS 6.5操作系统来搭建Hadoop 2.7的完全分布式集群。此文档是根据...
Linux中Centos7搭建Hadoop服务步骤
09-15
### Linux中Centos7搭建Hadoop服务步骤详解 #### 一、引言 随着大数据时代的到来，高效处理海量数据的需求愈发迫切。Hadoop作为一种开源的大数据处理框架，因其优秀的分布式处理能力而备受青睐。本文将详细介绍...
大数据-安装 Hadoop3.1.3 详细教程-伪分布式配置(Centos7)
热门推荐
大胆刁民的博客
03-16 1万+
大数据-安装 Hadoop3.1.3 详细教程-伪分布式配置(Centos7)
Centos7搭建hadoop3.3.4分布式集群
huan的学习记录
02-21 3173
最近在学习`hadoop`，本文记录一下，怎样在Centos7系统上搭建一个`3`个节点的`hadoop`集群。
CentOS7搭建hadoop完全分布式集群
Jop_qq的博客
04-20 1310
集群节点信息 主节点 master 子节点 slave1 slave2 slave3 集群搭建步骤： 进入并查看网卡文件，修改ifcfg-enp0s3和ifcfg-enp0s8网卡文件中的“ONBOOT=no”为“ONBOOT=yes”,设置网卡随虚拟机启动而开启，否则无法连接外网，修改后输入命令“reboot”重启虚拟机 输入命令“yum update”更新一下系统 输入命令“yum in...
CentOS7中安装Hadoop3详细步骤
雷神乐乐的博客
02-02 2875
CentOS7中安装Hadoop3详细步骤
CentOS7安装Hadoop3完全分布式
大头皮鞋的博客
04-01 8500
前提条件 拥有CentOS7服务器版环境 集群规划 项目 服务器node2 服务器node3 服务器node4 HDFS NameNode、DataNode DataNode DataNode、SecondaryNameNode Yarn NodeManager Resourcemanager、NodeManager NodeManager 虚拟机准备 通网络 能ping通外网，例如： ping baidu.com 如
Hadoop集群安装
qq_35911309的博客
03-15 766
提示。
Centos8中Hadoop3.3.1安装详细过程（含图文）
weixin_42609366的博客
11-16 2685
Hadoop的核心由3个部分组成：HDFS: Hadoop Distributed File System，分布式文件系统，hdfs还可以再细分为NameNode、SecondaryNameNode、DataNode。YARN: Yet Another Resource Negotiator，资源管理调度系统Mapreduce：分布式运算框架下面介绍安装 Hadoop。
CentOS上搭建Hadoop分布式集群环境实战
"搭建基于CentOS的Hadoop分布式环境，需要对Linux、Hadoop、SSH、Java和相关工具有所了解。本文将简述搭建过程中的关键点，包括系统需求、配置步骤和必备工具。" 在搭建基于CentOS的Hadoop分布式环境时，首先要明确...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值