hadoop3.3.0完全分布式安装

最新推荐文章于 2024-04-23 15:00:44 发布
最新推荐文章于 2024-04-23 15:00:44 发布
阅读量718 收藏 3
点赞数 2
分类专栏： hadoop 文章标签： hadoop linux big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_64347807/article/details/124923768
版权

hadoop集群

1. 安装：

1.1 安装工具准备：

jdk_1.8（已经安装完毕）

hadoop_3.3.0 （压缩包）

虚拟机安装：vim （查看配置文件带有高亮）

yum install vim -y
1.2 集群规划：
hadoop1hadoop2hadoop3
HDFSNameNode
DataNode		DataNodeSecondaryNameNode
DataNode
YARNNodeManagerResourceManager
NodeManager		NodeManager
1.3 配置虚拟机
  1. 修改虚拟机名（可自定义）：
vim /etc/hostname

image-20220518103052728

  1. 配置/etc/hosts(配置虚拟机之间的映射文件)：
vim /etc/hosts

image-20220518105243677

虚拟机配置完成（别忙着去克隆）

1.4 hadoop配置：
1. 上传压缩包：

可利用xshell，SecureCRT，FileZilla等工具上传。

2. 解压：

可以自由选择文件夹，有人习惯创建一个soft文件夹去安装软件，有人喜欢在opt中安装，看自己选择

 tar -zxvf hadoop-3.3.0.tar.gz

我的安装目录：

image-20220518111135549

3. 配置hadoop环境变量：
vim /etc/profile.d/my_env.sh

添加：(注意HADOOP_HOME后面跟的是自己的安装目录)

export HADOOP_HOME=/opt/hadoop/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

image-20220518113356401

生效环境变量：

source /etc/profile
4. 验证
hadoop

image-20220518113738460

​ 弹出一堆信息则成功！

5. 创建hadoop备用文件夹：

根据自己的安装目录进行

mkdir /opt/hadoop/hadoop_data

mkdir /opt/hadoop/hadoop_data/tmp

mkdir /opt/hadoop/hadoop_data/var

mkdir /opt/hadoop/hadoop_data/dfs

mkdir /opt/hadoop/hadoop_data/dfs/name

mkdir /opt/hadoop/hadoop_data/dfs/data
6. 创建分发脚本

功能：进行文件的分发

位置：/root/bin

cd /root/bin

vim xsync

#!/bin/bash	
if [ $# -lt 1 ]
then 
	echo Not Enough Arguement!
	exit;
fi
#注意，如果你的主机名命名和我不一样，下面这三个更换成你自己的主机名
for host in hadoop1 hadoop2 hadoop3
do 
	echo =================  $host  =================  	
	for file in $@
	do
		if [ -e $file ]
			then
				pdir=$(cd -P $(dirname $file); pwd)
				fname=$(basename $file)
				ssh $host "mkdir -p $pdir"
				rsync -av $pdir/$fname $host:$pdir
			else
				echo $file does not exists!				
		fi
	done
done
7. 克隆虚拟机

根据自己的虚拟机所分配的地址，修改三台虚拟机的/etc/hosts中的ip地址，以及/etc/hostname中的主机名

8. 免密登录
ssh-keygen -t rsa

一直回车到结束

image-20220518115654741

分发公钥：(hostname改为自己的主机命名)

ssh-copy-id hostname

三台虚拟机都分发。

1.5. hadoop环境配置

所有路径配置都得和自己虚拟机的一致

1. 配置jdk路径：
vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh

image-20220518120617795

2. 修改hdfs-site.xml
cd $HADOOP_HOME/etc/hadoop/

vim hdfs-site.xml

在 中间添加：

	<!-- 指定NameNode的web端访问地址 -->
<property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop1:9870</value>
</property>
	
	<!-- 设置SecondaryNameNode(2NN)的web端访问地址 -->
<property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop3:9868</value>
</property>


<property>
   <name>dfs.name.dir</name>
   <value>/opt/hadoop/hadoop_data/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>

<property>
   <name>dfs.data.dir</name>
   <value>/opt/hadoop/hadoop_data/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>

<property>
   <name>dfs.replication</name>
   <value>3</value>
</property>

<property>
      <name>dfs.permissions</name>
      <value>true</value>
      <description>need not permissions</description>
</property>

image-20220518121924480

3. 复制,修改mapred-site.xml
cp mapred-site.xml mapred-site.xml.template

vim mapred-site.xml

同样在中添加内容：

<!-- 指定MapReduce程序运行在Yarn上的地址 -->
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
 </property>
<property>
   <name>mapred.job.tracker</name>
   <value>hadoop1:49001</value>
</property>

<property>
      <name>mapred.local.dir</name>
       <value>/opt/hadoop/hadoop_data/var</value>
</property>
4. 配置yarn-site.xml
vim yarn-site.xml

<!-- 指定MapReduce走shuffle -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
<!-- 指定ResourceManager的地址 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>hadoop2</value>
</property>

<property>
	<description>The address of the applications manager interface in the RM.</description>
	<name>yarn.resourcemanager.address</name>
	<value>${yarn.resourcemanager.hostname}:8032</value>
</property>

<property>
	<description>The address of the scheduler interface.</description>
	<name>yarn.resourcemanager.scheduler.address</name>
	<value>${yarn.resourcemanager.hostname}:8030</value>
</property>

<property>
	<description>The http address of the RM web application.</description>
	<name>yarn.resourcemanager.webapp.address</name>
	<value>${yarn.resourcemanager.hostname}:8088</value>
</property>

<property>
	<description>The https adddress of the RM web application.</description>
	<name>yarn.resourcemanager.webapp.https.address</name>
	<value>${yarn.resourcemanager.hostname}:8090</value>
</property>

<property>
	<name>yarn.resourcemanager.resource-tracker.address</name>
	<value>${yarn.resourcemanager.hostname}:8031</value>
</property>

<property>
	<description>The address of the RM admin interface.</description>
	<name>yarn.resourcemanager.admin.address</name>
	<value>${yarn.resourcemanager.hostname}:8033</value>
</property>


<property>
	<name>yarn.scheduler.maximum-allocation-mb</name>
	<value>2048</value>
	<discription>每个节点可用内存,单位MB,默认8182MB</discription>
</property>

<property>
	<name>yarn.nodemanager.vmem-pmem-ratio</name>
	<value>2.1</value>
</property>

<property>
	<name>yarn.nodemanager.resource.memory-mb</name>
	<value>2048</value>
</property>

<property>
	<name>yarn.nodemanager.vmem-check-enabled</name>
	<value>false</value>
</property>
5. 配置core-site.xml
vim core-site.xml

	<property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/hadoop/hadoop_data/tmp</value>

        <description>Abase for other temporary directories.</description>

   </property>

   <property>

        <name>fs.default.name</name>
		<!-- hadoop1的内网IP地址 -->
        <value>hdfs://hadoop1:9000</value>

   </property>

	<!-- 指定NameNode的地址 -->
	<property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:8020</value>
	</property>
6. 配置workers
vim workers

必须和图中格式一致：顶格，换行；主机名称后面不准有空格

image-20220518153751319

7. 分发配置
cd ..
# 分发的是整个配置文件，这样上述6个步骤就不用去重复两次了
xsync hadoop/

image-20220518154247292

8. 修改sbin配置
cd ../sbin
修改start-dfs.sh,以及stop-dfs.sh,

image-20220518154640905

在这两个文件的开头加上以下配置

HDFS_DATANODE_USER=root
HADOOP_SECURE_SECURE_USER=root
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

image-20220518154828933

修改start-yarn.sh,以及stop-yarn.sh

image-20220518155028204

同样，在这两个文件的开头加上以下配置

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=root
YARN_NODEMANAGER_USER=root
再次分发
#再次分发已配置的配置文件到hadoop2,hadoop3
cd ..

xsync sbin/

hadoop集群搭建到此结束！

1.6. 启动
1. 首次启动

需要初始化hadoop的namenode

 hadoop  namenode  -format

image-20220518160505611

根据开始时的配置

hadoop1—hdfs

hadoop2—yarn

hadoop3----从节点

# 在hadoop1中输入：
start-dfs.sh

# 在hadoop2中输入：
start-yarn.sh

#查看结果
jps

hadoop1中：

image-20220518164646068

hadoop2中：

image-20220518164655918

hadooop3中：

image-20220518164708134

如果是用start-all.sh，需要在hadoop1和hadoop2中都输入。

2. 查看网页

如果上述结果都输出成功，就可以到浏览器中查看网页：

浏览器中输入：虚拟机IP地址:9870/ (hdfs所在虚拟机的IP地址，到9870即可，自动跳转)

查看8088端口： 虚拟机IP地址:8088/cluster （yarn所在的虚拟机的IP地址）

image-20220518170005273

到此，可以正常使用！！！

晓月聆枫
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hadoop完全分布式安装部署
longzorg_cn的博客
04-10 139
Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。我们本次主要完成搭建实际生产环境中比较常用的完全分布式模式，搭建完全分布式模式之前需要对集群部署进行提前规划，不要将过多的服务集中到一台节点上，我们将负责管理工作的namenode和ResourceManager分别部署在两台节点上，另外一台节点上部署SecondaryNamenode，所有节点均承担Datanode和Nodemanager角色，并且datanode和nodemanager通常存在同一节点上，所有角色尽量做到均衡分配。
Windows11安装hadoop-3.3.0
xiliuhu的专栏
05-07 2819
解压到C:\hadoop-3.3.0目录，形成C:\hadoop-3.3.0\bin这种目录层次。将其中bin目录替换到C:\hadoop-3.3.0\下的bin目录。\hadoop-3.3.0\etc\hadoop目录下有4个配置文件。2. 下载winutils替换hadoop-3.3.0\bin目录。选择hadoop-3.3.0.tar.gz下载。进入C:\hadoop-3.3.0\sbin。执行start-yarn.cmd文件。1. 下载hadoop-3.3.0。执行start-dfs.cmd文件。
hadoop3.3.0安装
soso的博客
03-31 3447
前言 hadoop官方镜像地址 http://www.apache.org/dyn/closer.cgi/hadoop/common/ ps: 原生态安装，没有采用cdh和hdp。。 前置操作 修改主机名 修改 /etc/sysconfig/network中的hostname vi /etc/sysconfig/network HOSTNAME=hadoop1 #这里我这文件为空，所以添加了这一行 修改/etc/hosts文件 vi /etc/hosts # 这里我除了修改127.0.0.1里的loca
HIve安装踩坑手册
最新发布
2401_84048895的博客
04-23 692
一般像这样的大企业都有好几轮面试，所以自己一定要花点时间去收集整理一下公司的背景，公司的企业文化，俗话说「知己知彼百战不殆」，不要盲目的去面试，还有很多人关心怎么去跟HR谈薪资。这边给大家一个建议，如果你的理想薪资是30K，你完全可以跟HR谈33~35K，而不是一下子就把自己的底牌暴露了出来，不过肯定不能说的这么直接，比如原来你的公司是25K，你可以跟HR讲原来的薪资是多少，你们这边能给到我的是多少？你说我这边希望可以有一个20%涨薪。
hadoop-3.3.0 集群搭建
小柒心得
07-07 415
hadoop集群搭建
hadoop完全分布式安装
qq_44304788的博客
09-02 170
9、编辑hadoop-env.sh，并且重新生效 export JAVA_HOME=/home/software/jdk1.8.0_131 export HADOOP_CONF_DIR=/home/software/hadoop-2.7.1/etc/hadoop 10、编辑core-site.xml，添加如下内容： <!--指定hdfs的nameservice，为整个集群起一个别名--> <property> <name>fs.defaultFS</nam
hadoop3.3.0-winutils所有bin文件
02-27
安装完成后，可以通过bin目录下的脚本启动Hadoop服务，如NameNode、DataNode、ResourceManager和NodeManager等。 总结来说，Hadoop 3.3.0-winutils提供了在Windows上运行Hadoop所需的全部二进制工具，这对于开发者...
Hadoop完全分布式安装教程
03-20
Hadoop完全分布式安装教程 本文档旨在指导用户完成Hadoop的完全分布式安装，涵盖了从虚拟机安装到Hadoop配置文件的详细步骤。本教程适合初学者和中级用户，旨在帮助他们快速掌握Hadoop的安装和配置。 一、Hadoop...
Hadoop技术-Hadoop完全分布式安装.pptx
11-02
"Hadoop技术-Hadoop完全分布式安装" Hadoop技术是当前最流行的分布式计算框架之一，广泛应用于数据存储、数据处理和数据分析等领域。Hadoop完全分布式安装是指在多台机器上安装和配置Hadoop，以便更好地处理大规模...
Hadoop单机伪分布式安装
03-20
Hadoop单机伪分布式安装 Hadoop 是一个开源的大数据处理框架，由 Apache 软件基金会开发和维护。Hadoop 的核心组件包括 HDFS（Hadoop Distributed File System）、MapReduce 和 YARN（Yet Another Resource ...
Hadoop完全分布式详细安装过程
11-23
Hadoop安装有三种模式：单机、伪分布式、完全分布式，本文档为完全分布式安装，过程很详细，设计内容包括：在win7上安装虚拟化工具VMware（用于支撑Linux系统），在VMware上安装Ubuntu系统，安装Hadoop前的准备工作...
hadoop-3.0.0.tar.gz
02-24
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。 Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。[2]
Hadoop安装部署&全分布式搭建
CyAurora的博客
07-17 1773
1. 完全分布式模式介绍 完全分布式，指的是在真实环境下，使⽤多台机器，共同配合，来构建⼀个完整的分布式 ⽂件系统。 在真实环境中，hdfs中的相关守护进程也会分布在不同的机器中，⽐如： -1. namenode守护进程尽可能的单独部署在⼀台硬件性能相对来说⽐较好的机器中。 -2. 其他的每台机器上都会部署⼀个datanode守护进程，⼀般的硬件环境即可。 -3. secondarynamenode守护进程最好不要和namenode在同⼀台机器上。 2. 平台软件说明 .
服务器部署——配置hadoop集群
ZM つ小灰灰的成长的博客
12-22 1016
1、下载hadoop 这里我们搭建最新的hadoop3.3.0版本的集群，首先进入hadoop官网https://hadoop.apache.org/releases.html找到要下载的版本，我这里选择的是当前最新的3.3.0版本，进入下载页面，我们选择清华大学的镜像进行下载。 wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz 2、安装Java hadoop是在j
Hadoop3.3.0–Linux编译安装
weixin_51029697的博客
04-24 494
Hadoop3.3.0–Linux编译安装 基础环境：Centos 7.7 编译环境软件安装目录 mkdir -p /export/server 一、Hadoop编译安装（选做） 可以直接使用课程提供已经编译好的安装包。 安装编译相关的依赖 ```shell yum install gcc gcc-c++ make autoconf automake libtool curl lzo-devel zlib-devel openssl openssl-devel ncurses-devel s
hadoop3.3.0集群搭建（详细教程）
Andy86666的博客
03-12 6867
hadoop3.3.0 集群搭建详细教程
hadoop-3.3.0集群环境搭建
AinUser的博客
09-07 370
# 1. 配置三台机器的IP地址 master 10.43.80.80 slave1 10.43.80.81 slave2 10.43.80.82 # 2. 关闭三台机器防火墙 systemctl stop firewalld.service # 3. 修改主机名 对应IP地址，修改对应的主机名 master 10.43.80.80 slave1 10.43.80.81 slave2 10.43.80.82 执行命令 hostnamectl set-hostname master hostname.
11. Hadoop完全分布式配置
lijun05的博客
09-26 7886
由于之前已经做了伪分布式配置，在做完全分布式配置之前，需要首先删除master主机hadoop安装路径下的tmp和logs文件夹中的文件： 重新配置core-site.xml和hdfs-site.xml，以及mapred-site.xml和yarn-site.xml。 （1）首先编辑core-site.xml （2）然后编辑hdfs-site.xml （3）编辑mapred-site.xml （4）编辑yarn-site.xml 修改slaves文件 压缩hadoop安装文件夹，然后分发到slav.
Hadoop3.3.0完全分布式集群搭建详细教程
m0_46698362的博客
03-29 8567
Hadoop3.3.0完全分布式集群搭建 前言 从零开始学习hadoop，记录成长过程，也是为了集群崩了还能搭好。话不多说，我们开始干活了！ 环境： 虚拟机：VMware15 Linux系统：centos7 需要提前准备好的安装包： 1.centos7镜像文件 2.VMware安装包 3.hadoop3.3.0和jdk1.8压缩包 4.远程访问工具xshell和xftp 接下来面对疾风吧 一、VMware安装 一直点击下一步就可以了，如果c盘不够，可以选择更改安装位置。 密钥可以去网上搜 安装完成
hadoop完全分布式安装配置
04-23
好的，关于Hadoop的完全分布式安装配置，我可以为您提供一些基本信息。首先，您需要安装Java，然后下载和安装Hadoop。安装后，您需要配置Hadoop的环境变量，这可以通过在.bashrc文件中添加以下内容来完成： export HADOOP_HOME=/path/to/hadoop export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin 接下来，您需要在所有节点上编辑Hadoop的配置文件（core-site.xml，hdfs-site.xml，yarn-site.xml和mapred-site.xml），并将它们保存在$HADOOP_HOME/etc/hadoop目录中。每个配置文件包含Hadoop集群的不同属性，例如HDFS的数据块大小和YARN资源管理器的内存限制。配置文件中的节点名称应该是每个节点的主机名或IP地址。 最后，您需要格式化并启动HDFS，以及启动YARN和MapReduce。这些操作可以通过运行以下命令来完成： hadoop namenode -format start-dfs.sh start-yarn.sh mr-jobhistory-daemon.sh start historyserver 以上就是关于Hadoop完全分布式安装配置的基本信息，希望对您有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值