hadoop集群搭建（一）（超详细）

已于 2023-10-05 23:17:08 修改
阅读量176 收藏 2
点赞数
文章标签： hadoop 大数据 分布式
于 2023-09-24 12:13:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_74756715/article/details/133143704
版权

hadoop集群搭建（超详细）

一.部署SSH工具

1.下载SHH工具

官网地址： http://www.hostbuf.com/

下载SSH工具

选择Windows版本

2.安装FinalShell工具

双击打开安装包，进行傻瓜式安装
在这里插入图片描述
接受协议
接受协议
选择FinalShell组件
选择FinalShell组件
自行选择安装路径
在这里插入图片描述
安装完成，点击 “关闭”
在这里插入图片描述

3.连接虚拟机设备

双击打开FinalShell
在这里插入图片描述

在这里插入图片描述
新建SSH连接
新建连接
连接hadoop01虚拟机
在这里插入图片描述

双击连接
在这里插入图片描述

连接成功
连接成功

二.修改配置文件和免密配置

1.修改配置文件

配置hosts文件

vim /etc/hosts

在这里插入图片描述

拷贝host文件

scp /etc/hosts root@hadoop02:/etc/hosts
scp /etc/hosts root@hadoop03:/etc/hosts

拷贝成功
在hadoop02和hadoop03进行检查hosts是否拷贝成功（由于作者隐私问题在这里对ip进行大码，大家做的时候要保证ip和虚拟机保持一致）
在这里插入图片描述

在这里插入图片描述

2.生成密匙

 ssh-keygen -t rsa

在这里插入图片描述
生成密匙
生成密匙### 3.拷贝密匙文件到子节点
拷贝文件

ssh-copy-id root@hadoop01
ssh-copy-id root@hadoop02
ssh-copy-id root@hadoop03

在这里插入图片描述
按照方法分别将密匙拷贝到hadoop02和hadoop03

测试免密
免密测试，查看免密是否成功

三.jdk安装和配置

1.新建文件夹存放文件

在根目录opt下分别创建local和soft文件夹，local用来存放上传的压缩包，soft用来存放解压之后的文件

mkdir /opt/local
mkdir /opt/soft
cd opt
ll

在这里插入图片描述

2.下载jdk压缩包

https://www.oracle.com/java/technologies/downloads/

在这里插入图片描述

3.查看系统自带的jdk并删除

查看系统自带

java -version

在这里插入图片描述

rpm -qa | grep java

在这里插入图片描述
删除jdk

# 挨个删除每一个包，（删除所有.noarch 文件）
rpm -e --nodeps 包名
 
# 一次性删除
yum remove *openjdk*

在这里插入图片描述

删除成功
在这里插入图片描述

4.上传并解压jdk压缩包

进入opt下的local文件夹

cd /opt/local

在这里插入图片描述
上传jdk压缩包

rz

在这里插入图片描述
查看上传的压缩包
在这里插入图片描述
将文件解压到 opt下的soft(解压过程中不能做其他的事情，容易解压出错！！！)

 tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/soft

在这里插入图片描述
进入soft查看是否解压成功

cd /opt/soft
ll

在这里插入图片描述
创建软连接

 ln -s  jdk1.8.0_144/ jdk

在这里插入图片描述

5.配置jdk环境

编辑配置文件

vi /etc/profile

按“i”进入编辑模式
编辑好配置文件后“Esc”退出编辑模式
“:wq”保存退出
在这里插入图片描述

6.刷新jdk配置文件,并检查新安装的jdk

#刷新配置文件
source /etc/profile
#检查新装的jdk
 java -version

在这里插入图片描述

四.Hadoop安装和配置

1.下载Hadoop

官网下载hadoop

下载官网  https://hadoop.apache.org/releases.html

在这里插入图片描述
在这里插入图片描述

2.上传并解压jdk压缩包

rz

上传hadoop压缩包

ll

上传成功
解压hadoop

 tar -zxvf hadoop-3.2.4\ \(1\).tar.gz -C /opt/soft/

解压成功
创建软连接

ln -s hadoop-3.2.4/ hadoop

创建成功

3.配置Hadoop环境

vim /etc/profile
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

按“i”进入编辑模式
编辑好配置文件后“Esc”退出编辑模式
“:wq”保存退出
配置hadoop环境变量
在

hadoop-env.sh
mapred-env.sh
yarn-env.sh

中分别添加JAVA_HOME环境

export JAVA_HOME=/opt/soft/jdk1.8.0_144

刷新hadoop配置文件，使配置文件生效

source /etc/profile

4.查看Hadoop版本

hadoop version

在这里插入图片描述

五.修改Hadoop配置文件

进入hadoop文件夹

cd /opt/soft/hadoop/etc/hadoop

1.修改配置文件 core-site.xml,插入

<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.74.11:8020</value>
    </property>
    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/local/soft/hadoop/data</value>
    </property>
    <!-- 配置HDFS网页登录使用的静态用户为 root -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
    </property>
    <property>
	    <name>fs.trash.interval</name>
		<value>1</value>
    </property>
</configuration>

在这里插入图片描述

2.修改配置文件 hdfs-site.xml,插入

<configuration>
<!-- nn web端访问地址-->
        <property>
        <name>dfs.namenode.http-address</name>
        <value>192.168.74.11:9870</value>
    </property>
        <!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>192.168.74.12:9868</value>
    </property>
    </configuration>

在这里插入图片描述

3.配置mapred-site.xml,插入

<configuration>
<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!-- 历史服务器端地址 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>192.168.126.192:10020</value>
    </property>
    <!-- 历史服务器web端地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>192.168.126.192:19888</value>
    </property>
    <!-- 每个MR最多申请的内存 -->
    <property>
        <name>mapreduce.map.memory.mb</name>
        <value>2048</value>
    </property>
</configuration>

在这里插入图片描述

4.配置yarn-site.xml,插入

<configuration>
 <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>192.168.74.11</value>
    </property>
    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>                    
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP _HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,
        HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    <!-- 开启日志聚集功能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <!-- 设置日志聚集服务器地址 -->
    <property>
        <name>yarn.log.server.url</name>
        <value>http://192.168.74,11:19888/jobhistory/logs</value>
    </property>
    <!-- 设置日志保留时间为7天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>3</value>
    </property>
</configuration>

在这里插入图片描述

5.配置workers

直接插入更改

hadoop01
hadoop02
hadoop03

在这里插入图片描述

六.向其它节点分发配置文件

scp -r /opt/soft/hadoop-3.2.4 root@hadoop02:/opt/soft
scp -r /opt/soft/hadoop-3.2.4 root@hadoop03:/opt/soft

拷贝过程

七.集群格式化

hadoop namenode -format

格式化成功

八.集群重启

进入 /opt/soft/hadoop/sbin/

cd /opt/soft/hadoop/sbin/

sbin下的文件

1.文件权限不够启动失败

在这里插入图片描述
问题：文件没有权限，无法执行
解决：
(1)在文件 start-dfs.sh 和stop-dfs.sh中添加以下代码

HDFS_DATANODE_USER=root
HADOOP_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

在这里插入图片描述
(2) 在文件 start-yarn.sh 和stop-yarn.sh中添加以下代码

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

在这里插入图片描述

2.启动Hadoop （ ./ 在这里是执行的意思）

 ./start-dfs.sh

在这里插入图片描述

3.启动yarn

 ./start-yarn.sh

在这里插入图片描述

九.查看进程

1.查看进程

jps

hadoop01的进程
hadoop01
hadoop02的进程
hadoop02
hadoop03的进程
hadoop03
进入hadoop的web网站访问
在这里插入图片描述

2.停止hadoop

./stop-dfs.sh

停止hadoop

3.停止yarn

./stop-yarn.sh

停止yarn

十.小技巧

在这里插入图片描述
描述：因为我们的启动和停止文件在 /opt/soft/hadoop/sbin/ 目录下，每次启动进程都需要打开目录，很麻烦
解决：
在 /etc/profile 配置文件中添加

#打开文件
vim /etc/profile
添加配置
:$HADOOP_HOME/sbin

在这里插入图片描述
完成配置后就不用再进到目录里启动进程了
在这里插入图片描述
在Linux系统中，/sbin是一个特殊的目录，用于存放系统管理员和基本系统维护命令。该目录下的可执行文件通常需要具有特殊的权限以运行，因为它们对系统的操作具有潜在的风险和影响。

配置/sbin系统变量的意义在于将该目录添加到系统的环境变量中，使得系统中的任何位置都可以直接执行位于/sbin目录下的命令，而无需指定完整的路径。这样，系统管理员就可以更加方便地使用和调用这些系统管理和维护命令，提高工作效率。

通过将/sbin添加到系统的PATH环境变量中，系统命令解析器（如bash）将会在搜索可执行文件时自动包含该目录，从而使得系统中的任何用户都可以直接运行/sbin目录下的命令，而无需输入完整路径。

絲箹
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
hadoop集群搭建(超级详细)
10-11
超详细集群搭建教程(从虚拟机安装到集群搭建完成，集群搭建成功验证)，每一个步骤都有，照做即可。 内有集群搭建所需安装包：hadoop2.2.0，zookeeper3.4.5
Hadoop集群的搭建，巨详细的过程,一步步来必成
weixin_68251022的博客
06-02 4404
查看/etc/sysconfig/network-scripts/ifcfg-ens33配置文件的内容。不同于Windows系统采用菜单方式修改网络配置，Linux系统的网络配置参数是写在配置文件里的，ifcfg-ens33是CentOS 7.8版本的Linux系统中的网络配置文件，可以设置IP地址、子网掩码等网络配置信息。
(非常详细）大数据平台学习·环境安装配置（二）（Hadoop3.2.4版集群搭建）
Spark_BITZH的博客
10-22 1223
大数据平台入门之搭建Hadoop集群
Hadoop3 - 集群搭建
小毕超博客
10-04 1828
集群启动有两种方式，一种是在每台主机中启动相应的组件，另一种 hadoop 为我们提供了一键启停脚本，前提是配置好机器之间的SSH免密登录和workers文件。访问地址：http://resourcemanager_host:8088。访问地址：http://namenode_host:9870。集群，两者逻辑上分离，但物理上常在一起。进行了简单的介绍，并搭建了单机版的。，本篇文章继续搭建集群版本的。三台主机需具备 Java 环境。下面准备在三台服务器上安装。
【Hadoop】Hadoop(一)3.2.4集群搭建
JeffHan^_^的博客
04-27 469
可以看到resourcemanager的管理界面也已经启动，我这里启动了一个Flink的yarn任务，所以可以看到一个Application。在 hadoop解压目录下的 etc/hadoop下修改下面配置。在进行Hadoop集群部署之前，我们需要事先准备好以下几个条件。访问 http://192.168.37.128:9870。访问http://192.168.37.128:8088。可以看到两台dataNode节点都在线。在centos1上启动集群。
Hadoop大数据集群搭建（超详细）
热门推荐
小飞飞V5的博客
05-21 2万+
本文主要介绍了Hadoop集群的搭建过程，图文详细，适合新手入门
搭建hadoop集群
qq_44715376的博客
05-24 2741
搭建hadoop集群
超详细的hadoop完全分布式集群的搭建
programmer_trip的博客
06-05 2881
HDFS (hadoop distributed file system) : hadoop分布式文件系统 环境: 这是学习使用的,因为用虚拟机,通过root用户进行搭建 一.创建一个虚拟机 had01 ,网络连接方式均为NAT模式 搭建步骤: 首先创建一个hdp01
hadoop3.2.4 集群环境搭建
qq_34526237的博客
04-04 876
实际运用中，hadoop的搭建一定是集群部署方式，所以这里搭建了下集群部署方式，也熟悉hadoop的集群搭建。这里我就没有新建用户来运行hadoop程序，严格来说不能直接用root运行hadoop程序，这里我就懒得弄了，就直接用root运行，用root运行方法前一篇文章有说，可以看看前面的文章。
1 Hadoop 3.2.4分布式环境搭建
fmi110的博客
07-31 1864
hadoop 3.2.4分布式部署
hadoop HDP docker镜像部署
11-01
hadoop HDP docker镜像部署
Hadoop快速部署工具 EasyHadoop.zip
07-18
EasyHadoop 是一个Hadoop一键安装系统,方便大家更容易安装部署Hadoop软件。 EasyHadoop 由前暴风影音数据团队修湘调研,向磊编写，以GPL协议进行开源 开放此管理部署系统方便大家安装使用,以此和行业共同学习进步。 支持特性如下: 1.Haoop 稳定版本 hadoop-1.1.2-1 2.集成 JDK 6 3.集成LZO,hadoop-gpl-packaging-0.6.1-1 4.界面化一键安装部署管理hadoop集群。 5.支持64位 linux 操作系统. 特别是 redhat centos 5 6 6.五种秒级监控图表，实时查看节点服务器内存，硬盘，CPU，MR状态，负载状态，及时发现问题。 7.支持配置推送，hosts文件推送，自动生成机架感知脚本 使用方法: http://github.com/xianglei/easyhadoop 点zip图标下载，然后运行EasyHadoopCentral中的setup_centos_(x).py进行安装 标签：hadoop  大数据
HADeploy：Hadoop应用程序部署工具
02-05
部署 HADeploy是专门设计用于在BigData / NoSQL上下文中以Hadoop群集为首要目标部署应用程序的工具。 在这种情况下，部署应用程序不仅是在某个地方部署某个jar的问题。 这还意味着创建大量相关资源，例如Hive表，Kafka主题，HBase表，HDFS文件夹和文件，系统帐户等。 文献资料 您可以找到文档 基本原则 申请清单 可以在一个文件中完整描述一个应用程序，其中包含所有组件和资源描述。 基础架构独立性 应用程序文件独立于目标物理基础结构。 此目标在另一个文件中定义，并且HADeploy将负责部署时的合并 环境独立性。 同样，应用程序文件独立于环境（DEV，INT，
Hadoop集群搭建超详细步骤及注意点
01-10
Hadoop集群搭建的详细步骤，涉及Linux：Centos6.5基础环境配置，Hadoop集群离线部署方式。
hadoop集群搭建
07-25
hadoop集群搭建关键性步骤，超级详细，轻松应对hadoop!
hadoop集群的搭建以及hadoop的配置
a18792721831的博客
01-20 3066
hadoop集群的搭建以及hadoop的配置环境说明与目的配置说明准备hadoop-env.shcore-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xmllog4j.propertiesssh 免密启动验证界面任务历史任务提交总结 环境说明与目的 准备：我自己准备了三台虚拟机在windows平台上使用Hyper-V搭建虚拟机集群环境_a18792721831的博客-CSDN博客 环境如下 主机 nameNode dataNode resourceMa
Hadoop 3.2.4 集群搭建详细图文教程
最新发布
Stars.Sky 的博客
09-01 2568
Hadoop 3.2.4 集群搭建详细图文教程
hadoop集群安装指南-hadoop3.2.4版本
champion2009的专栏
09-19 1835
hadoop集群安装指南-hadoop3.2.4版本
给我一个Hadoop集群搭建的非常详细的教程
04-21
以上是Hadoop集群搭建的一个大体过程，请按照官方文档的详细说明进行操作，以保证集群的安装和配置正确无误。 希望这些指导可以帮助你成功搭建自己的Hadoop集群。如果你有其他问题，不要犹豫向我提问！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值