hadoop分布式安装

已于 2023-04-25 11:24:07 修改
阅读量417 收藏 1
点赞数
分类专栏： Linux 大数据 文章标签： hadoop 分布式 大数据
于 2023-04-14 10:57:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_48170265/article/details/130146562
版权

文章目录

1. 将安装包hadoop-3.1.3.tar.gz上次至linux中

在这里插入图片描述

2. 进行解压操作

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/softs/

##tar: 解压打包的命令
##z: 当前压缩类型为.tar. gz
##x: 代表是解压命令
##v: 代表在解压过程中显示执行过程
##f: 代表指定打包后的文件名
##C: 指定解压后的目录

3. 修改目录名称

--替换目录
cd /opt/softs

--修改目录名称
mv hadoop-3.1.3/ hadoop3.1.3/

4. 配置环境变量

-- 编辑环境变量配置文件
vim /etc/profile

-- 在文件添加如下配置项
##JAVA_HOME
export JAVA_HOME=/opt/softs/jdk1.8.0
export PATH=$PATH:$JAVA_HOME/bin

##HADOOP_HOME
export HADOOP_HOME=/opt/softs/hadoop3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

-- 保存退出后需要使环境变量配置文件的改动生效
source /etc/profile

在这里插入图片描述

输出hadoop环境变量 :

echo $HADOOP_HOME

在这里插入图片描述

修改linux本地hosts，使能通过主机名映射识别对应的ip地址

vim /etc/hosts

192.168.123.51 bigdata01
192.168.123.52 bigdata02
192.168.123.53 bigdata03
192.168.123.54 bigdata04
192.168.123.55 bigdata05
192.168.123.50 bigdatademo

5. 远程传输

5.1 scp远程传输

-- 远程传输/etc/hosts文件
-- scp 需要传输的文件路径目标节点 用户名@ip地址(hostname):文件的目标位置
scp /etc/hosts root@192.168.123.52:/etc
scp /etc/hosts root@192.168.123.53:/etc
scp /etc/hosts root@192.168.123.54:/etc
scp /etc/hosts root@192.168.123.55:/etc

-- 远程传输/etc/profile文件
-- 注意点:远程传输/etc/proflie后需要在目标节点上重新source /etc/profi1e
scp /etc/profile root@bigdata02:/etc
scp /etc/profile root@bigdata03:/etc
scp /etc/profile root@bigdata04:/etc
scp /etc/profile root@bigdata05:/etc

-- 远程传输/opt/softs/hadoop3.1.3目录
scp -r /opt/softs/hadoop3.1.3 root@bigdata02:/opt/softs
scp -r /opt/softs/hadoop3.1.3 root@bigdata03:/opt/softs
scp -r /opt/softs/hadoop3.1.3 root@bigdata04:/opt/softs
scp -r /opt/softs/hadoop3.1.3 root@bigdata05:/opt/softs

-r 递归

6. 免密登录

-- 切换到/root目录
cd /root
-- 查看隐藏目录
ls -al
#a 显示所有的文件(包含隐藏文件)
#l 详细信息显示

-- 切换目录
cd .ssh

--执行创建公钥和私钥的命令
ssh-keygen -t rsa
然后可以回车3次生成两个文件: id_rsa(私钥),id_rsa.pub(公钥)

--将公钥拷贝到要免密登录的节点上
ssh-copy-id bigdata03
ssh-copy-id bigdata04
ssh-copy-id bigdata05

-- 在bigdata04和bigdata05上也进行同样的免密登录操作

-- ssh登录测试
ssh root@bigdata03
ssh root@bigdata04
ssh root@bigdata05

7. 集群规划

集群规划时需要注意
(1)NameNode和SecondaryNameNode不要放置在同一节点上
(2)ResourceManager本身很消耗内存，不要和NameNode或SecondaryNameNode放置在同一节点上

bigdata03bigdata04bigdata05
HDFSNameNode,DataNodeSecondaryNameNode,DataNodeDataNode
YARNNodeManagerNodeManagerResourceManager,NodeManager

8. 修改自定义配置文件

自定义文件的路径: $HADOOP_HOME/etc/hadoop

8.1 hadoop-env.sh

配置如下

cd /opt/softs/hadoop3.1.3/etc/hadoop
ll
vim hadoop-env.sh

-- 修改JAVA_HOME的配置
export JAVA_HOME=/opt/softs/jdk1.8.0

8.2 core-site.xml

配置如下

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata03:8020</value>
    </property>

    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/softs/hadoop3.1.3/data</value>
    </property>

    <!-- 配置HDFS网页登录使用的静态用户为root -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
    </property>
</configuration>

8.3 hdfs-site.xml

配置如下

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    
     <!-- HDFS数据副本数 -->
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
    
    <!-- namenode数据的存储目录 -->
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/opt/softs/hadoop3.1.3/data/dfs/name</value>
	</property>
	
	<!-- datanode数据的存储目录 -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:/opt/softs/hadoop3.1.3/data/dfs/data</value>
	</property>
   
	<!-- NameNode web端访问地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>bigdata03:9870</value>
    </property>
	<!-- SecondaryNameNode web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>bigdata04:9868</value>
    </property>
</configuration>

8.4 mapred-site.xml

配置如下

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

8.5 yarn-site.xml

配置如下

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定mapreduce走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>bigdata05</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
	
	 <!-- 开启日志聚集功能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
	</property>
    <!-- 设置日志聚集服务器地址 -->
    <property>
        <name>yarn.log.server.url</name>
        <value>http://bigdata03:19888/jobhistory/logs</value>
    </property>
    <!-- 设置日志保留时间为7天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
	
</configuration>

8.6 workers

配置作为datanode节点的hostname

bigdata03
bigdata04
bigdata05

9. rsync差异化远程传输

-- 安装rsync命令
yum install -y rsync

-- 上述安装命令在集群中每一节点上都执行

-- 进行差异化传输
-- rsync -av 差异化比较的源路径 目标节点用户名@hostname:差异化比较的目标路径

-- a 归档拷贝
-- v 显示复制过程

rsync -av /opt/softs/hadoop3.1.3/etc/hadoop/ root@bigdata04:/opt/softs/hadoop3.1.3/etc/hadoop/

注意：如果传输是个文件夹目录的话，文件夹名后面的/不能省略，即hadoop后的/不能省略。

在这里插入图片描述

10. 格式化集群

如果集群是第一次启动,需要在NameNode节点处进行格式化，格式化后，会产生新的集群id
如果对集群进行重新格式化时，需要先停止NameNode和DataNode的运行，并且需要删除所有节点上data和logs目录。然后再进行重新格式化

--格式化命令
hdfs namenode -format

在这里插入图片描述

11.在NameNode节点上（此处为bigdata03）启动hdfs

bigdata03bigdata04bigdata05
HDFSNameNode,DataNodeSecondaryNameNode,DataNodeDataNode
YARNNodeManagerNodeManagerResourceManager,NodeManager
--启动hdfs命令
start-dfs.sh

在对应的节点上查看服务启动情况，根据集群规划中服务设置节点进行检查

jps

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

有DataNode、NameNode、SecondaryNameNode进程服务时，说明hdfs启动成功

12.在ResourceManager节点上（此处为bigdata05）启动yarn

-- 启动yarn命令
start-yarn.sh

在对应的节点上查看服务启动情况，根据集群规划中服务设置节点进行检查

jps

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

13.在NameNode节点上关闭hdfs

stop-dfs.sh

14.在ResourceManager节点上（此处为bigdata05）关闭yarn

stop-yarn.sh

15.通过web访问hdfs和yarn

首先需要在windows下配置虚拟机ip和hostname的映射
编辑文件 C:WindowsiSystem32%driversletchosts ,添加如下内容

192.168.123.53 bigdata03
192.168.123.54 bigdata04
192.168.123.55 bigdata05

访问hdfs
在浏览器中输入 http://bigdata03:9870

访问yarn
在浏览器中输入 http://bigdata05:8088

三月枫火
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop完全分布式安装
an_vana的博客
08-16 965
Hadoop 完全分布式安装 前言 ​ 之前有搭建过一次 Hadoop 完全分布式集群但是没有记录，最近开始着手自己搭个模拟数仓需要搭建集群，趁此机会记录一下搭建的过程。 环境及机器： 节点：三台虚拟机 配置：内存 16G、硬盘 100G 系统：Centos 7.7 Hadoop版本：2.7.7 1、安装JDK1.8 1.1 下载 JDK ​ 推荐安装 Oracle 官方提供的 JDK 版本，可以在 Oracle 官网下载得到，下载 Linux 系统的版本即可 1.2 解压 JDK ​ 将下载的 JDK
Hadoop完全分布式安装，全网最详细！
weixin_53492344的博客
03-15 2014
然后回车；
Hadoop分布式安装部署
weixin_43886470的博客
01-18 1454
多次初始化会造成数据丢失，也会造成hdfs集群主从角色互不识别，需要通过删除所有机器hadoop.tmp.dir目录（core-site.xml中设置该目录）重新进行format初始化！将主机器的hadoop文件使用scp命令复制到其余两台机器，因hadoop文件太大了，故本文三台机器的hadoop事先已先解压，只需要将hadoop配置文件复制过去即可。stop-all.sh #关闭Hadoop集群。hadoop集群启动之前，需要进行format初始化操作，但初始化操作只需要一次即可！
Hadoop分布式安装详细步骤
俺滴的博客
05-30 2363
一、先决条件 1. 支持平台 GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证。 Win32平台是作为开发平台支持的。由于分布式操作尚未在Win32平台上充分测试，所以还不作为一个生产平台被支持。 2. 所需软件 Linux所需软件包括: JavaTM1.5.x，必须安装，建议选择Sun公司发行的Java版本。 ssh 必须安装并且保证 sshd一直运行，以便用Hadoop 脚本管理远端Hadoop守护进程。 3.安装所需环境软件
2024年最全Hadoop 完全分布式部署_hadoop分布式安装部署，2024年最新10年阿里开发架构师经验分享
2401_84181145的博客
05-14 696
创建分发脚本文件内容如下修改权限分别在node2、node3机器安装xsync命令把xsync命令发送到node2、node3。
Hadoop分布式集群的安装(图解)
qq_43325476的博客
01-07 5836
搭建是学习大数据的基础，大家一定要好好的搭建，可以试着多搭建几遍
Hadoop 完全分布式搭建（超详细）
热门推荐
JIE的博客 --- moon_coder
10-24 3万+
到此为止，我们的 Hadoop 完全分布式就已经搭建完成啦！
最新Hadoop 完全分布式部署_hadoop分布式安装部署，大数据开发程序员春招三面蚂蚁金服
2401_84164503的博客
05-12 698
rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。没有/opt/module/hadoop目录先创建，因为是使用hadoop普通用户，把hadoop目录的所属用户改为hadoop。（1）选中node1用来克隆出node2和node3主机，点击 虚拟机–>管理–>克隆。验证从node1发起ssh登录到node2，过程中不需要登录密码为配置成功。这里以CentOS 7为例，最小安装，关闭防火墙、静态IP、主机名称。同样的方法，修改node2、node3机器。
2024年大数据最新Hadoop 完全分布式部署_hadoop分布式安装部署(1)，一名毕业三年的女程序媛面试头条经验
2401_84185182的博客
05-13 925
1.BOOTPROTO设置为static，表示IP为静态的。2.GATEWAY设置为上一步查询到的实际网关地址。3.IPADDR设置为网关所在的网段，这里查到的网段为10.90.100.0。
Hadoop分布式集群搭建教程
niulinbiao的博客
10-11 1491
大数据课程需要搭建Hadoop分布式集群，在这里记录一下搭建过程。
Hadoop分布式安装配置.docx
11-03
Hadoop分布式安装配置 Hadoop是当前大数据处理的主流技术之一，由于其开源、可扩展、灵活的特点，广泛应用于大数据处理、数据分析、机器学习等领域。为帮助读者更好地理解Hadoop的安装配置，本文将从大数据概念、...
hadoop分布式安装java与hadoop.docx
10-25
【分布式安装Java与Hadoop】 在进行Hadoop的分布式安装之前，首要任务是确保所有参与节点都安装了相同版本的Java。这是因为Hadoop是用Java编写的，它依赖于Java运行环境来执行其核心服务。在本文中，我们将讨论如何...
Hadoop分布式安装笔记.rar
03-06
本笔记将深入探讨Hadoop的分布式安装过程，帮助读者理解如何在多台机器上构建一个高效、可靠的Hadoop集群。 首先，Hadoop是Apache软件基金会的一个开源项目，其核心设计目标是处理和存储海量数据。它采用了分片...
hadoop分布式安装02.mp4
09-29
hadoop分布式安装02.mp4
hadoop分布式搭建
12-24
hadoop分布式搭建是指将hadoop安装到多台机器上，并将其连接起来，形成一个分布式集群，以提高数据处理的速度和可靠性。以下是hadoop分布式搭建的详细步骤： 1、配置动态网络 在hadoop分布式搭建中，网络配置是...
大数据处理：大数据处理框架Hadoop、Spark
Chujun123528的博客
07-24 747
大数据处理是当代信息技术领域的一个重要分支，它涉及到海量数据的存储、管理和分析。为了高效地应对大数据处理的挑战，多种框架被开发出来，其中Hadoop和Spark是最为知名和广泛应用的两种。以下将详细介绍这两种框架以及它们在大数据处理中的应用和优势。
分布式文件存储行业解决方案和技术选型分析
zhuzhu_YT的博客
07-25 2163
上一集，我们已经完成了初始化测试报告以及判断压测类型的实战，我们在文章的末尾提到了文件上传的问题以及文件存储的问题，也说了接下来的几集中，我们会讨论分布式文件存储的内容。那么话不多说，我们就根据这一集的标题来展开分布式文件存储的讨论吧。成本：MinIO作为开源解决方案，可以节省成本，适合对存储成本有严格控制的场景。而云厂商解决方案需要付费，但通常提供更全面的服务和支持。自主性：使用MinIO等开源解决方案，企业可以拥有更高的自主性和控制权，而云服务则由服务提供商管理。集成性。
分布式系统常见软件架构模式
Ben的专栏
07-25 1002
简而言之，有效管理数据和通信流对于构建健壮且可扩展的分布式系统至关重要。对等、API 网关、发布-订阅、请求-响应、事件溯源、ETL、批处理、流处理和编排等架构模式提供了有价值的解决方案，以应对系统设计和实现中的各种挑战。通过理解这些软件架构和分布式系统模式及其各自的优势和权衡，架构师和开发人员可以做出明智的决策，设计出满足其应用程序和用户不断变化的需求的系统。
消息队列-rabbitmq（生产者.消费者. 消息.可靠性）
最新发布
2202_75352238的博客
07-28 572
在我们 生产者发送消息到交换机的时候，假如 我们发送到交换机 ，但是 队列没有收到消息，会返回ack，发送到交换机，然后发送到队列，消费者没有接收到消息返回ack，但是发送到交换机失败，会返回nack。死信交换机 ，都是假如一个定时消息过期了，或者发送延迟消息我们直接把该消息传递到我们绑定的死信交换机中，跟上文 消息发送失败了返回rejct之后，消息发送到err交换机是两种不同的策略。当一条消息发送失败的时候，消费者重新尝试消费消息，达到我们重试的次数之后，消费者返回reject，mq直接删除消息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值