CentOS7虚拟机实现Hadoop3.0分布式集群安装

最新推荐文章于 2024-03-29 22:01:46 发布
最新推荐文章于 2024-03-29 22:01:46 发布
阅读量481 收藏 4
点赞数
分类专栏： 运维 文章标签： centos hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34885184/article/details/107840940
版权

1、虚拟机环境配置

1.1 虚拟机参数

主节点hadoop100： RAM 4G ，CPU 4 ，ROM 64G
从节点hadoop101： RAM 2G ，CPU 1 ，ROM 64G
从节点hadoop102： RAM 2G ，CPU 1 ，ROM 64G
在这里插入图片描述

  • 下面先配置hadoop100，如果没有说明，默认是在hadoop100虚拟机上操作

1.2 静态IP配置

  • 关闭网络管理器

    systemctl stop NetworkManager
systemctl disable NetworkManager

  • 修改网络配置，设置静态IP

    vim /etc/sysconfig/network-scripts/ifcfg-ens33

    在这里插入图片描述

  • 重启网络

    service network restart

  • 查看IP是否设置成功

    ifconfig

  • hadoop101、 hadoop102的静态IP配置与以上操作相同，IP分别设为192.168.68.101、192.168.68.102

1.3 主机名设置

  • 编辑网络配置文件

    vim /etc/sysconfig/network

    增加以下内容：

    NETWORKING=yes
HOSTNAME=hadoop100

  • 永久设置主机名

    hostnamectl set-hostname hadoop100

  • 重启

    reboot

  • 查看主机名是否生效

    hostname

  • hadoop101、 hadoop102的主机名配置与以上操作相同，主机名分别设为hadoop101、 hadoop102

1.4 hosts文件配置

  • 配置 IP 和 hostname 的映射关系

    vim /etc/hosts

    增加以下内容：

    192.168.68.100 hadoop100
192.168.68.101 hadoop101
192.168.68.102 hadoop102

  • hadoop101、 hadoop102的hosts文件配置与以上操作相同

1.5 关闭防火墙

  • 三台虚拟机都需要关闭
    systemctl stop firewalld.service
systemctl disable firewalld.service

1.6 ssh免密码登陆

  • hadoop100虚拟机生成公钥，一路按回车就行

    ssh-keygen -t rsa

    在这里插入图片描述

  • 向本机复制公钥

    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

  • 登录hadoop100验证

    ssh hadoop100

    第一次验证的时候会提示输入 yes 或 no， 输入了 yes 之后按回车可以进入就表示免密码登陆配置成功。
    在这里插入图片描述

  • 把公钥复制到另外两台虚拟机（需要输入对应的密码）

    ssh-copy-id -i hadoop101
ssh-copy-id -i hadoop102

  • 在 hadoop100 机器上使用 ssh 命令确认集群免密码登陆是否设置成功， 如果可以免密码登陆进去就说明是没有问题的

    ssh hadoop101
exit
ssh hadoop102
exit

1.7 jdk 安装

  • 创建存放目录

    mkdir -p /data/soft/
cd /data/soft/

  • hadoop101、 hadoop102同样需要创建/data/soft/目录

  • 提前下载好jdk安装包，上传安装包到该目录下（本安装从Windows主机使用xshell操作）

    rz

  • 解压，重命名

    tar -zxvf jdk-8u261-linux-x64.tar.gz
mv  jdk1.8.0_261/ jdk1.8

  • 配置环境变量

    vim /etc/profile

    在文件末尾增加以下内容：

    export JAVA_HOME=/data/soft/jdk1.8
export HADOOP_HOME=/data/soft/hadoop-3.2.1
export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

  • 刷新环境变量配置

    source /etc/profile

  • 检查jdk是否安装成功

    java -version

    在这里插入图片描述

  • 复制hadoop100的jdk以及环境变量配置到另外两台虚拟机

    scp -rq /data/soft/jdk1.8/ hadoop101:/data/soft/
scp -rq /etc/profile hadoop101:/etc/

scp -rq /data/soft/jdk1.8/ hadoop102:/data/soft/
scp -rq /etc/profile hadoop102:/etc/

  • 分别切换到hadoop101、hadoop102，执行以下操作

    source /etc/profile
java -version

2、Hadoop安装

首先在 hadoop100 节点上安装，再复制到另外两台虚拟机。

2.1 Hadoop安装包

  • 将下载好的Hadoop安装包，上传到目录，解压
    cd /data/soft
tar -zxvf hadoop-3.2.1.tar.gz

2.2 修改 hadoop 相关配置文件

  • 进入配置文件所在目录

    cd hadoop-3.2.1/etc/hadoop/

  • 修改 hadoop-env.sh 文件，增加环境变量信息

    vim hadoop-env.sh

    在文件最后增加以下内容：

    export JAVA_HOME=/data/soft/jdk1.8
export HADOOP_LOG_DIR=/data/hadoop_repo/logs/hadoop

  • 修改 core-site.xml 文件， 注意 fs.defaultFS 属性中的主机名需要和你配置的主机名保持一致

    vim core-site.xml

    增加以下内容：（注意文件中已经有“configuration”标签）

    	<configuration>
		<property>
			<name>fs.defaultFS</name>
			<value>hdfs://hadoop100:9000</value>
		</property>
		<property>
			<name>hadoop.tmp.dir</name>
			<value>/data/hadoop_repo</value>
		</property>
	</configuration>

    在这里插入图片描述

  • 修改 hdfs-site.xml 文件， 把 hdfs 中文件副本的数量设置为2

    vim hdfs-site.xml

    增加以下内容：

    <configuration>
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>hadoop100:50090</value>
	</property>
</configuration>

  • 修改 mapred-site.xml， 设置 mapreduce 使用的资源调度框架

    vim mapred-site.xml

    <configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

  • 修改 yarn-site.xml， 设置 yarn 上支持运行的服务和环境变量白名单

    vim yarn-site.xml

    <configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.env-whitelist</name>
		<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CL
		ASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
	</property>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop100</value>
	</property>
</configuration>

  • 修改 workers 文件， 增加所有从节点的主机名， 一个一行

    vim workers

    先删掉workers 文件原有的localhost，增加以下内容：

    hadoop101
hadoop102

  • 修改启动脚本

    cd /data/soft/hadoop-3.2.1/sbin

  • 在start-dfs.sh，stop-dfs.sh增加以下内容：

    HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

    在这里插入图片描述

  • 在start-yarn.sh，stop-yarn.sh增加以下内容：

    YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

2.3 复制已配置的Hadoop到从节点

  • 把 hadoop100 节点上修改好配置的安装包拷贝到其他两个从节点

    cd /data/soft/
scp -rq hadoop-3.2.1 hadoop101:/data/soft/
scp -rq hadoop-3.2.1 hadoop102:/data/soft/

2.4 格式化namenode

  • 如果多次格式化，需要先删除虚拟机的/data/hadoop_repo目录（core-site.xml 文件中设置的目录），再格式化才能成功。

    cd /data/soft/hadoop-3.2.1
bin/hdfs namenode -format

    成功界面：在这里插入图片描述

2.5 启动集群

  • 在 hadoop100 节点上执行

    sbin/start-all.sh

2.6 验证集群

  • 分别在三台虚拟机上运行命令：

    jps

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  • 还可以通过 webui 界面来验证集群服务是否正常，在这三台虚拟机中任意的浏览器访问：
    hdfs webui 界面： http://192.168.68.100:9870
    yarn webui 界面： http://192.168.68.100:8088
    在这里插入图片描述
    在这里插入图片描述
    至此， hadoop 分布式集群安装成功~

3、参考文章

本文主要依照了慕课网徐老师的快速入门Hadoop3.0大数据处理所提供的安装文档。

咖喱姬姬
关注
专栏目录
linux虚拟机搭建hadoop伪分布式集群
04-26
在搭建Hadoop伪分布式集群的过程中，首先需要在Linux环境下配置VMware的NAT网络，确保虚拟机能够稳定地运行和通信。NAT网络允许虚拟机通过宿主机与外部网络进行通信，同时保持IP地址的固定性。具体操作包括取消DHCP...
【运维】hadoop3.0.3集群安装（一）多节点安装
hiliang521的博客
08-27 375
hadoop集群安装
hadoop3.0高可用分布式集群安装
最新发布
maodun
03-29 938
hadoop高可用，依赖于zookeeper。
CentOS7搭建hadoop集群
浩瀚蓝天dep的博客
12-12 1万+
说明： 1.准备三台虚拟机，参考：CentOS7集群环境搭建(以3台为例) 2.配置虚拟机间免密登陆：参考：CentOS7集群配置免密登录 3.虚拟机分别安装jdk：参考：CentOS7集群安装JDK1.8 准备开始搭建hadoop集群，以下操作在第一台机器node1执行： 1.上传并解压hadoop安装包 1.1上传安装包到/develop/software mkdir -p /develop/software mkdir -p /devel...
虚拟机下基于CentOS 7 Hadoop 分布式搭建
qq_45084064的博客
09-12 758
目录一、准备工作1.虚拟机准备2.对四台机器分别配置网络3.xftp上传压缩包（给master机上传即可）二、搭建JDK环境1.免密登录2.检查是否有内置JDK3.解压JDK压缩包到 /root下4.配置环境变量5.刷新环境变量6.验证搭建7.分发到 slave1~3机器三、配置Hadoop环境变量1.解压，改名2.配置Hadoop环境变量3.刷新环境变量4.验证搭建四、部署Hadoop1.切换目录2.配置 core-site.xml 文件3.配置 hdfs-site.xml 文件4.配置 hadoop-e
CentOS 7 虚拟机 Hadoop 集群环境搭建
叶涟风不息
09-18 2609
使用虚拟机安装 Linux 系统、Java、Hadoop，配置运行环境，搭建本地、伪分布式、完全分布式的 Hadoop 运行环境
2.Hadoop3.2.1分布式集群安装
01-20
Hadoop3.2.1 分布式集群安装 1.准备环境： 3 台 linux 虚拟机(CentOs7.x 64 位) ip 为： 192.168.2.100 192.168.2.101 192.168.2.102 对应的 hostname 为： hadoop100 hadoop101 hadoop102 2.虚拟机基本环境配置： ...
VM+CentOS+hadoop2.7搭建hadoop完全分布式集群
01-24
### 基于VM+CentOS+hadoop2.7搭建Hadoop完全分布式集群的知识点解析 #### 一、概述 本文旨在详细介绍如何使用VMware Workstation（简称VM）结合CentOS 6.5操作系统来搭建Hadoop 2.7的完全分布式集群。此文档是根据...
Hadoop3.0分布式集群搭建(HA)详细文档.docx
05-22
详细描述Hadoop3.0 高可用分布式集群搭建。步骤清晰。
Centos7.0系统配置Hadoop集群（以3节点为例）
06-16
Centos7.0系统下配置Hadoop集群（以3节点为例）超详细过程
Hadoop3.0.0完全分布式集群搭建
qq_38332453的博客
06-25 1410
Hadoop3.0.0完全分布式集群搭建1、前言2、准备工作3、环境准备4、集群搭建步骤5 修改每台机器主机名(hostname)6、配置ssh，实现无密码登录7、开始配置hadoop8、 启动Hadoop 1、前言 Hadoop环境搭建分为三种形式：单机模式、伪分布式模式、完全分布模式 单机模式—— 在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。 伪分布式—— 也是在一台单机上运行，但不同的是Java进程模仿分布式运行中的各类节点。即一台机器上，既当NameNode，又当Dat
基于虚拟机centos7搭建Hadoop集群
二黑的博客
04-29 8331
第一部分：准备工作 1.安装虚拟机 参考：https://blog.csdn.net/heqiang525/article/details/89237367 2.安装centos7 参考:https://blog.csdn.net/heqiang525/article/details/89671281 3.安装JDK 参考:https://blog.csdn.net/heqiang52...
centos7安装配置Hadoop集群
热门推荐
一只修炼成精的猴子的博客
02-21 3万+
1、下载Hadoop以及JAVA 本文用的是hadoop-3.2.0 下载地址： http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz 本文用的是JAVA1.81 下载地址：https://www.oracle.com/technetwork/java/javase/downloads/j...
（小白都能看的懂的操作）VMware+centos7虚拟机+hadoop3.0.0完全分布式集群搭建
qq_43106863的博客
10-30 3404
本文主要是想做一下自己实际搭建集群的记录：如有不正确或者不当的地方，希望各位能指正 一，准备工作： 1.VMware官方下载 2.CentOS7镜像下载 3.jdk8下载 4.Hadoop下载（Source Distribution 是源代码版，你需要自己编译成可执行软件。 Binary Distribution 是可执行版，直接可以拿来用的，他已经给你编译好的版本） 二，VMware安装 这个就...
hadoop3.0 分布式搭建/安装
u010499619的博客
10-21 1万+
最近打算尝试在服务器上安装hadoop3.0，由于服务器上本来搭建好hadoop2.6，并且是用root用户安装。我不打算删除原来的hadoop2.6， 所以准备新建两个用户，hadoop2.6及hadoop3.0；将位于/usr/local/hadoop/目录下的hadoop2.6移到hadoop2.6用户目录下，并且将原本在/etc/profile 中配置的环境变量删除，然后在hadoop
centos7 搭建Hadoop3.0.3完全分布式
zhouzhiwengang的专栏
07-03 1889
第一步：服务器规划 IP地址 主机名称 nameNode dataNode 192.168.60.201 master 是 否 192.168.60.200 node1 否 是 第二步：基于依赖环境准备 1、centos7 搭建JDK8 参考文章地址：https://blog.csdn....
虚拟机CentOS7下搭建hadoop集群（持续更新）
DedicationTechnology
10-12 6244
1.虚拟机准备 1.1克隆虚拟机 在克隆过程中注意选择完全克隆这一个选项 1.2修改克隆后的虚拟机IP和主机名 1.2.1修改虚拟机IP 在命令行下输入：vim /etc/sysconfig/network-scripts/ifcfg-ens33 第一步：修改BOOTPROTO选项为static 第二步：修改IP的相关信息（添加以下内容） IPADDR=192.168.17.102 GA...
Hadoop完全分布式集群安装指南
"Hadoop安装配置教程" 在大数据领域，Hadoop是一个至关重要的...搭建Hadoop分布式集群虽然需要一定的技术基础，但通过逐步学习和实践，初学者也能掌握这一技能。记住，不断学习和动手实践是提升Hadoop技术水平的关键。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值