Hadoop分布式（最小集群）搭建（三台虚拟机）

最新推荐文章于 2024-06-20 16:12:27 发布
最新推荐文章于 2024-06-20 16:12:27 发布
阅读量3.3k 收藏 22
点赞数 4
分类专栏： 大数据 文章标签： hadoop 分布式 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51972565/article/details/126558770
版权

Hadoop分布式搭建

一、平台准备

安装VMware虚拟机平台

Vmware workstation 16

一路next即完成

网络配置：

  1. VM虚拟网络编辑：

    点击更改设置，设置子网IP：192.168.88.0

    设置连接模式：NAT模式

  2. 在主机的网络连接设置中更改VMnet8网络适配器属性：

    ip地址使用192.168.88.1

    DNS修改为192.168.88.2

安装 Linux 操作系统 CentOS7.x 64

根据正常安装步骤安装,几个注意的步骤：

  1. 尽量选择英文
  2. 要开启网卡服务

这里准备三台Linux用于搭建集群，分别命名为node1,node2,node3

node1内存：4g 处理器内核4

node2内存：2g 处理器内核2

node3内存：2g 处理器内核2

二、Linux部署Hadoop

服务器基础环境配置

  1. 网络配置

    安装三台虚拟机，主服务器node1，从服务器node2,node3

    配置ip：192.168.88.151,192.168.88.152,192.168.88.153,

    设置hosts映射，在主机hosts文件写入：

    192.168.88.151 node1.icu

    192.168.88.152 node2.icu

    192.168.88.153 node3.icu

    使用ping node1.icu 测试是否成功组建局域网

    同时在服务器中使用ping 测试是否能够联网

  2. 防火墙关闭

    关闭防火墙是为了某些端口的使用不被屏蔽

    firewall-cmd --state	#查看防火墙状态
systemctl stop firewalld.service  #停止firewalld服务
systemctl disable firewalld.service  #开机禁用firewalld服务

  3. 设置时间同步（保证集群的同步）

    ntpdate ntp5.aliyun.com

  4. 设置ssh免密登录

    #node1生成公钥私钥 (一路回车)
	ssh-keygen  
#node1配置免密登录到node1 node2 node3
	ssh-copy-id node1
	ssh-copy-id node2
	ssh-copy-id node3

  5. 统一工作目录

    mkdir -p /export/server #软件安装的路径
mkdir -p /export/data #数据存放路径
mkdir -p /export/software #安装包存放路径
运行环境配置

在/export/server下安装

JDK安装配置

使用finalShell 连接这三台虚拟机，使用finalShell 可以对多端服务器同时发送命令进行安装

  1. 在 /export/server 安装JDK

    tar zxvf jdk-8u241-linux-x64.tar.gz #解压
rm rf jdk-8u241-linux-x64.tar.gz #删除安装包

  2. 配置环境变量

    vim /etc/profile #修改配置文件
# 配置java变量和路径
export JAVA_HOME=/export/server/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
# 重启资源生效
source /etc/profile
# 查看版本
java -version

  3. 远程主机分发同步

    #把jdk从当前路径复制到 node3主机下的同目录
scp -r /export/server/jdk1.8.0_241/ root@node3:/export/server/

    同时也要相应编辑 /etc/profile 或 进行远程同步

Hadoop安装部署
  1. Hadoop安装

上传hadoop安装包到 /export/server下

tar zxvf hadoop-3.3.0.tar.gz
rm -rf hadoop-3.3.0.tar.gz

  1. 集群角色规划

    采用分布式部署，需要划分角色

    节点HDFS主节点HDFS从节点HDFS辅助节点YARN主节点YARN从节点
    node1NameNodeDataNodeResourceManagerNodeManager
    node2DataNodeSecondaryNameNodeNodeManager
    node3DataNodeNodeManager

    HDFS

    • NameNode：集群的管理，存储元数据（描述数据的数据）信息 一个

    • DataNode：存储真实数据的节点 多个

    • SecondaryNameNode：辅助主节点 一个

    YARN

    集群负责海量数据运算时的资源调度，集群中的角色主要有： CPU ,内存,磁盘,网络带宽

    • ResourceManager：主节点 分配资源
    • NodeManager：从节点 执行任务

  2. 核心配置

#文件路径 /export/server/hadoop-3.9.0/etc/hadoop/

hadoopl-env.sh

#文件最后添加
export JAVA_HOME=/export/server/jdk1.8.0_241

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

core-site.xml

<!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://node1:8020</value>
</property>

<!-- 设置Hadoop本地保存数据路径 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/export/data/hadoop-3.3.0</value>
</property>

<!-- 设置HDFS web UI用户身份 -->
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
</property>

<!-- 整合hive 用户代理设置 -->
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>

<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

<!-- 文件系统垃圾桶保存时间 -->
<property>
    <name>fs.trash.interval</name>
    <value>1440</value>
</property>

hdfs-site.xml

<!-- 设置SNN进程运行机器位置信息 -->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node2:9868</value>
</property>

mapred-site.xml

<!-- 设置MR程序默认运行模式： yarn集群模式 local本地模式 -->
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

<!-- MR程序历史服务地址 -->
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>node1:10020</value>
</property>
 
<!-- MR程序历史服务器web端地址 -->
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>node1:19888</value>
</property>

<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

yarn-site.xml

<!-- 设置YARN集群主角色运行机器位置 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>node1</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 是否将对容器实施物理内存限制 -->
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 是否将对容器实施虚拟内存限制。 -->
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 开启日志聚集 -->
<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>

<!-- 设置yarn历史服务器地址 -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://node1:19888/jobhistory/logs</value>
</property>

<!-- 历史日志保存的时间 7天 -->
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>604800</value>
</property>

wokers（配置工作的主机域名）

node1.icu
node2.icu
node3.icu

以上是对一台主机的配置，接下来使用远程分发同步命令快速实现对其他主机的部署

cd /export/server

scp -r hadoop-3.3.0 root@node2:$PWD
scp -r hadoop-3.3.0 root@node3:$PWD

配置Hadoop的环境变量

vim /etc/profile

export HADOOP_HOME=/export/server/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile


#使用scp同步给其他两台机器哦
scp /etc/profile node2:/etc/profile
scp /etc/profile node3:/etc/profile

查看是否完成的基本安装：

#查看已安装的Hadoop信息
hadoop

Hadoop集群初始化namenode：

**注意：**Hadoop集群初始化namenode只能执行该命令一次，如果报错，请检查错误原因重试上述设置再次执行，如果多次执行会造成程序无响应，最终失败。

初始化：

hdfs namenode -format

如下信息代表成功：

在这里插入图片描述
初始化成功之后可以正常使用Hadoop了

脚本启停命令：

#HDFS
start-dfs.sh
stop-dfs.sh
#YARN
start-yarn.sh
stop-yarn.sh
#Hadoop集群
start-all.sh
stop-all.sh

启动之后，可以在主机上使用 jps 命令查看已经启动的进程有哪些
在这里插入图片描述

查看HDFS和YARN图形化界面UI

HDFS：http://namenode_host:9870 (namenode_host是namenode运行所在的主机名或者ip)

其中：主机名访问需要在windows中配置hosts 添加主机名
在这里插入图片描述

在这里插入图片描述
YARN：http://namenode_host:8088
在这里插入图片描述
在这里插入图片描述

至此，Hadoop分布式的搭建就已经完成了

默默无闻的IT民工
关注
  • 4
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2.Hadoop3.2.1分布式集群安装
01-20
Hadoop3.2.1 分布式集群安装 1.准备环境： 3 台 linux 虚拟机(CentOs7.x 64 位) ip 为： 192.168.2.100 192.168.2.101 192.168.2.102 对应的 hostname 为： hadoop100 hadoop101 hadoop102 2.虚拟机基本环境配置： 这三台机器的基本配置参考 Hadoop 单机伪分布安装章节中的虚拟机基本环境配置部分。 注意：除了基本配置之外还需要实现主节点能够免密码登陆到所有从节点，因为从节点上面的进程是由主节点通过 ssh 远程启动的。 在 hadoop100 这台机器上执行下面命令，可以实现主
超详细Hadoop集群搭建（入门级别，三台机器）
weixin_45298058的博客
10-14 870
Hadoop集群搭建 一、虚拟机安装完成（centos6版本） 二、创建一个普通用户 1、useradd （普通用户名） 2、设置密码 ：passwd （密码） 三、在root用户下设置新建普通用户的超级用户权限 1、在 vim /etc/sudoers 中增添方框中的内容，“tang”为普通用户名 四、修改yum源 1、将配置文件移动到指定路径 sudo mv CentOS6-Base-163.repo /etc/yum.repos.d/ 2、备份yum源文件 sudo mv etc/yum.repo.
Hadoop大数据集群搭建（超详细）_hadoop集群搭建
最新发布
2401_84166258的博客
06-20 941
同时修改hadoop02和hadoop03。
虚拟机(3台)搭建Hadoop集群
猴子
03-01 1011
VMware，虚拟机，hadoop3.2.*，集群，常见问题
搭建Hadoop完全分布式集群（三台虚拟机）
weixin_55527323的博客
06-15 6761
无冗余步骤搭建hadoop集群，看这一篇就够了。
【博学谷学习记录】超强总结，用心分享 | Hadoop集群搭建
Onzswhite的博客
09-16 624
Hadoop集群搭建
搭建模拟搭建Hadoop完全分布式环境(三台服务器)详解
m0_52835696的博客
04-11 3649
使用VMware模拟搭建完全分布式hadoop环境
Hadoop大数据集群搭建（超详细）
热门推荐
小飞飞V5的博客
05-21 3万+
本文主要介绍了Hadoop集群的搭建过程，图文详细，适合新手入门
搭建hadoop-完全分布式模式
01-07
文章目录搭建简单的Hadoop完全分布式模式分析首先设置集群规划虚拟机准备设置静态ip与主机名，设置用户为超级用户配置java环境hadoop安装配置集群配置core-site.xmlHDFS 配置文件YARN 配置文件MapReduce 配置文件这...
hadoop高可用集群搭建手册.docx
04-17
这里，我们使用三台虚拟机(master、slave1、slave2)来模拟Hadoop集群，每台机器的IP地址和安装的软件都有所不同。 2. 主机名和IP地址的配置 在搭建Hadoop集群之前，需要修改每台机器的主机名和IP地址。可以使用vim...
详解VMware12使用三台虚拟机Ubuntu16.04系统搭建hadoop-2.7.1+hbase-1.2.4（完全分布式）
09-30
主要介绍了详解VMware12使用三台虚拟机Ubuntu16.04系统搭建hadoop-2.7.1+hbase-1.2.4（完全分布式），具有一定的参考价值，有兴趣的可以了解一下。
hadoop集群搭建(超级详细)
10-11
可以使用VMware或VirtualBox等虚拟机软件，创建至少三台虚拟机，分别作为NameNode、DataNode和Secondary NameNode。确保每台虚拟机的网络设置为同一网络模式（如NAT或桥接），以便它们能够相互通信。 二、操作系统...
一、服务器准备
zhuyangyong的博客
12-01 922
本案例使用VMware Workstation Pro虚拟机创建虚拟服务器来搭建Linux服务器集群，所用软件及版本如下：Centos7.7-64bit第一种方式：通过iso镜像文件来进行安装(不推荐)第二种方式：直接复制安装好的虚拟机文件（强烈推荐）在资料里边已经提供了一个安装好的虚拟机node1（注意，为了大家以后环境的统一，尽量使用课程资料中提供的已经安装好的虚拟机!!!!!!），我们需要根据这个虚拟机克隆出另外两台虚拟机出来。资料地址：联系作者获取。注意,步骤如下:注意克隆node1虚拟机的时候，先
hadoop集群详细部署流程(一)
yujianbujianqwe的博客
08-08 210
本教程将使用5台服务器来部署hadoop集群，5台服务器的主机名依次为XCloud150、XCloud151、XCloud152、XCloud153、XCloud154。在规划的5台服务器上，执行安装准备操作。命令：su修改后：命令：修改后：命令：注：ifcfg-enp0s3是网卡名称，实际操作时，注意替换修改后：命令：命令：ifconfig输出：如图，“inet”与“ether”之间，没有ipv6的信息，即说明ipv6已关闭。命令：修改后：命令：命令：ifconfig。
小数据| Hadoop集群搭建
legendaryhaha的博客
05-23 268
Hadoop集群搭建前言搭建域名设置服务器免密登录下载配置创建hdfs修改XML文件core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xmlhadoop-env.shslaves发送启动格式化拓展启动集群 前言 hadoop集群搭建一般都采用3条服务器来演练，为什么是3呢？之前以为跟redis类似，由主从投票策略决定，后来想了想应该不是，因为主节点是nameNode节点，而从节点是dataNode节点，你的从节点在此时升级为master也没用吧。。。 后
如何搭建一个完整的Hadoop集群（三台虚拟机）
weixin_43999048的博客
11-29 1296
创建一个完整Hadoop虚拟机基本步骤 使用软件： VMware Linux centos8 jdk1.8 hadoop2.7 1.首先是创建一个安装一个虚拟机（master） hostname：查看当前主机名 hostnamectl set-hostname 修改后的名字 //修改名字只是为了能够达到见名知意 2.设置静态ip和本地网络设置（vmnet8）（具体是啥意思不懂！！！） 然后进入/etc/syscofig/network-scripts编辑ens32/ens33 具体的
使用kvm创建三台能通局域网的虚拟机
programmer_trip的博客
06-01 810
使用kvm创建三台能通局域网的虚拟机
使用虚拟机完成Hadoop完全分布式的搭建
weixin_47260194的博客
02-24 6326
1、首先要下载好虚拟机VMware workstation，并进行安装。 链接：https://pan.baidu.com/s/1EuNflW8so-xx46qrdCRbDg 提取码：hjl4 2、下载Linux的对应版本，可以通过官网下载。 链接：https://pan.baidu.com/s/1DJ411izE54jI014dgVwekg 提取码：hjl4 3、在VMware上新建三台虚拟机（以示范为主），主机名分别为master、slave1，slave2。 4、创建好虚拟机后，每台虚拟..
Hadoop 3.x hdfs-site.xml HDFS最小化配置参数
ChengRuoFei的博客
06-09 2万+
Hadoop 3.x hdfs-site.xml HDFS最小化配置参数
hadoop分布式集群搭建csdn
12-16
Hadoop分布式集群搭建是为了更高效地处理大规模的数据以及实现数据存储和计算的并行处理。在搭建Hadoop分布式集群之前，首先要准备好必要的软件和硬件环境。需要确保所有的节点都有稳定的网络连接和足够的存储空间。 在搭建Hadoop分布式集群的过程中，首先要配置好Hadoop的基础环境，包括安装Java环境、配置各个节点的主机名和IP地址、设置SSH免密登录等。接着需要安装Hadoop的相关组件，包括Hadoop HDFS（分布式文件系统）和YARN（资源调度器），并对其进行相应的配置。另外还需要安装Zookeeper用于协调Hadoop集群中的各个节点。 在配置完Hadoop的基础环境和相关组件之后，就可以开始启动Hadoop集群并进行测试了。首先启动HDFS，确保各个节点都能够正常加入到HDFS集群中。然后启动YARN，确保资源管理和作业调度的正常运行。最后，可以通过提交MapReduce作业或者其他计算任务来验证Hadoop集群的性能和稳定性。 总的来说，搭建Hadoop分布式集群是一个复杂的过程，需要充分的准备和细致的配置。但一旦搭建完成并且运行正常，Hadoop分布式集群可以为用户提供强大的数据处理和存储能力，对于大规模数据处理和分析来说具有重要的意义。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值