Hadoop 分布式集群配置安装

已于 2022-03-09 15:48:02 修改
阅读量439 收藏 1
点赞数 1
分类专栏： 部署 文章标签： hadoop hdfs big data spark 大数据
于 2022-02-17 22:48:32 首次发布
本文为 cpucode.blog.csdn.net 原创作品，欢迎转载，请保留出处，谢谢！
本文链接：https://blog.csdn.net/qq_44226094/article/details/122993590
版权

Hadoop 分布式集群配置安装

Hadoop部署

集群部署规划

NameNode 和 SecondaryNameNode 不要安装在同一台服务器
ResourceManager 也很消耗内存，不要和 NameNode、SecondaryNameNode 配置在同一台机器上

cpu101cpu102cpu103
HDFSNameNodeSecondaryNameNode
DataNodeDataNodeDataNode
YARNResourceManager
NodeManagerNodeManagerNodeManager

下载地址 :

https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

在这里插入图片描述

将 hadoop-3.1.3.tar.gz 导入到 /opt/software 文件夹下面

解压安装文件到 /opt/module 下面

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

在这里插入图片描述

查看是否解压成功

在这里插入图片描述

将 Hadoop 添加到环境变量

打开 /etc/profile.d/my_env.sh 文件

sudo vim /etc/profile.d/my_env.sh

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

在这里插入图片描述

有效

source /etc/profile

分发环境变量文件

sudo ~/bin/xsync /etc/profile.d/my_env.sh

在这里插入图片描述

常用端口号说明

端口名称Hadoop2.xHadoop3.x
NameNode 内部通信端口8020 / 90008020 / 9000 / 9820
NameNode HTTP UI500709870
MapReduce 查看执行任务端口80888088
历史服务器通信端口1988819888

配置集群

常用的配置文件

Hadoop2.xHadoop3.x
核心配置文件core-site.xmlcore-site.xml
HDFS 配置文件hdfs-site.xmlhdfs-site.xml
YARN 配置文件yarn-site.xmlyarn-site.xml
MapReduce 配置文件mapred-site.xmlmapred-site.xml
slavesworkers

核心配置文件 core-site.xml

vim core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
        <!-- 指定 NameNode 的地址 -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://cpu101:8020</value>
        </property>

        <!-- 指定 hadoop 数据的存储目录 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/module/hadoop-3.1.3/data</value>
        </property>
        <!-- 配置 HDFS 网页登录使用的静态用户为 cpu -->
        <property>
                <name>hadoop.http.staticuser.user</name>
                <value>cpu</value>
        </property>

		<!-- 配置该cpu(superUser)允许通过代理访问的主机节点 -->
	    <property>
	        <name>hadoop.proxyuser.cpu.hosts</name>
	        <value>*</value>
		</property>
		<!-- 配置该cpu(superUser)允许通过代理用户所属组 -->
	    <property>
	        <name>hadoop.proxyuser.cpu.groups</name>
	        <value>*</value>
		</property>
		<!-- 配置该cpu(superUser)允许通过代理的用户-->
	    <property>
	        <name>hadoop.proxyuser.cpu.users</name>
	        <value>*</value>
		</property>

</configuration>

在这里插入图片描述

HDFS配置文件 hdfs-site.xml

vim hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
        <!-- nn web 端访问地址-->
        <property>
                <name>dfs.namenode.http-address</name>
                <value>cpu101:9870</value>
        </property>
        <!-- 2nn web 端访问地址-->
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>cpu103:9868</value>
        </property>

		<!--指定 HDFS 的元信息存储目录-->
        <property>
              <name>dfs.namenode.name.dir</name>
              <value>file:///opt/module/hadoop-3.1.3/dfs/name</value>
        </property>

		<!--指定 HDFS 的数据存储目录-->
        <property>
              <name>dfs.datanode.data.dir</name>
              <value>file:///opt/module/hadoop-3.1.3/dfs/data</value>
        </property>

		<!-- datanode通信通过域名 -->
        <property>
                <name>dfs.client.use.datanode.hostname</name>
                <value>true</value>
        </property>
        
	    <!-- 测试环境指定HDFS副本的数量 1 -->
	    <property>
	        <name>dfs.replication</name>
	        <value>1</value>
	    </property>
</configuration>

在这里插入图片描述

YARN配置文件 yarn-site.xml

vim yarn-site.xml

<?xml version="1.0"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->
<configuration>

<!-- Site specific YARN configuration properties -->
        <!-- 指定 MR 走 shuffle -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <!-- 指定 ResourceManager 的地址-->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>cpu102</value>
        </property>
        <!-- 环境变量的继承 -->
        <property>
                <name>yarn.nodemanager.env-whitelist</name>
                <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
        </property>
        <!-- 开启日志聚集功能 -->
        <property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>

        <!-- 设置日志聚集服务器地址 -->
        <property>
                <name>yarn.log.server.url</name>
                <value>http://cpu102:19888/jobhistory/logs</value>
        </property>

        <!-- 设置日志保留时间为 7 天 -->
        <property>
                <name>yarn.log-aggregation.retain-seconds</name>
                <value>604800</value>
        </property>

        <!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
        <property>
             <name>yarn.nodemanager.pmem-check-enabled</name>
             <value>false</value>
        </property>

        <!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
        <property>
             <name>yarn.nodemanager.vmem-check-enabled</name>
             <value>false</value>
        </property>

	<!--
	    <property>
	        <name>yarn.scheduler.maximum-allocation-mb</name>
	        <value>9000</value>
	        <discription>每个任务最多可用内存,默认8182MB</discription>
	    </property>
	-->
	<!--
	    <property>
	        <name>yarn.scheduler.minimum-allocation-mb</name>
	        <value>3072</value>
	        <discription>每个任务最小可用内存</discription>
	    </property>
	-->
	
	<!--
	    <property>
	        <name>yarn.nodemanager.vmem-pmem-ratio</name>
	        <value>3</value>
	        <discription>物理内存和虚拟内存比率</discription>
	    </property>
	-->
	
</configuration>

在这里插入图片描述

MapReduce配置文件 mapred-site.xml

vim mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
        <!-- 指定 MapReduce 程序运行在 Yarn 上 -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <!-- 找到mapreduce -->
        <property>
            <name>yarn.app.mapreduce.am.env</name>
            <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3</value>
        </property>
        <!-- 找到mapreduce -->
        <property>
           <name>mapreduce.map.env</name>
            <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3</value>
        </property>
        <!-- 找到mapreduce -->
        <property>
            <name>mapreduce.reduce.env</name>
            <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3</value>
        </property>

        <!-- 历史服务器端地址 -->
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>cpu102:10020</value>
        </property>

        <!-- 历史服务器 web 端地址 -->
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>cpu102:19888</value>
        </property>
</configuration>

在这里插入图片描述

配置 workers

vim workers

cpu101
cpu102
cpu103

该文件中添加的内容结尾不允许有空格，文件中不允许有空行

在这里插入图片描述

分发Hadoop

xsync /opt/module/hadoop-3.1.3/

在这里插入图片描述

群起集群

如果集群是第一次启动，需要在 cpu101 节点格式化 NameNode（注意格式化之前，一定要先停止上次启动的所有 namenode 和 datanode 进程，然后再删除 data 和 log 数据）

hdfs namenode -format

在这里插入图片描述

Hadoop群起脚本

vim myhadoop.sh

#!/bin/bash

if [ $# -lt 1 ]
then
        echo "No Args Input..."
        exit ;
fi

case $1 in
"start")
        echo " =================== 启动 hadoop 集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh cpu101 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh cpu102 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh cpu102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop 集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh cpu102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh cpu102 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh cpu101 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
        echo "Input Args Error..."
;;
esac

在这里插入图片描述

权限 :

chmod 777 myhadoop.sh

在这里插入图片描述

启动

myhadoop.sh start

在这里插入图片描述

停止

myhadoop.sh stop

在这里插入图片描述

查看页面

Web端查看HDFS的Web页面：

http://cpu101:9870/

在这里插入图片描述

Web 查看 Job

http://cpu102:19888/jobhistory

在这里插入图片描述

Web端查看 SecondaryNameNode

http://cpu103:9868/status.html

在这里插入图片描述

Web端查看 All Applications

http://cpu102:8088

在这里插入图片描述

测试 MR

创建目录

hadoop fs -mkdir /input

在这里插入图片描述

在这里插入图片描述

上传文件

在这里插入图片描述

hadoop fs -put word.txt /input

在这里插入图片描述

在这里插入图片描述

删除 HDFS 上已经存在的输出文件

hadoop fs -rm -r /output

执行 wordcount 程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

在这里插入图片描述

在这里插入图片描述

cpuCode
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hbase分布式安装部署
momo898821的博客
03-15 1526
Hbase分布式安装部署
hadoop全分布式集群配置
06-14
Hadoop实现了一个分布式文件系统...本课程讲解搭建hadoop集群的全过程,从安装vmware,centos开始,从本地模式,伪分布式到全分布式,讲解实现经典案例wordcount结束,全方位讲解hadoop的操作细节,带你完成hadoop的安装和入门
HBase分布式部署
Michael的专栏
10-19 429
环境为3台机器，并已经安装好了Hadoop，参见我前面的帖子 下载，解压 $ wget wget http://mirror.esocc.com/apache/hbase/hbase-0.94.5/hbase-0.94.5-bin.tar.gz $ tar zxvf hbase-0.94.5-bin.tar.gz -C /l0 hbase-env.sh 在这个文
2024年大数据最新【hadoop】hbase的安装部署以及相关操作（图文详解）_hbase安装，2024年最新我离职后面试收割小米等大厂offer
最新发布
2401_84185626的博客
05-05 607
​。
hbase分布式部署
weixin_51938762的博客
01-02 1294
实验平台： 操作系统：Ubuntu：16.04 Hadoop：3.3.1 Hbase版本：2.4.9 JDK版本：1.8 hbase官网下载地址 hbase-2.4.9-bin.tar.gz 1.解压hbase-2.4.9-bin.tar.gz到/usr/local/并改名为hbase 2.在~/.bashrc文件中配置环境变量 sudo vim ~/.bashrc export PATH=$PATH:/usr/local/hbase/bin source ~/.bashrc sudo chown -
HBase 分布式部署
记录点点滴滴
03-11 1202
Nginx 1.1. nginx概述 (Nginx engine x)是—个高性能的HTP和反向代理服务器特点是占有内存少 并发能力强,事实上 nginx的并发能力确实在同类型的网页服务器中表现较好,中囯大 陆使用 nginx网站用户有:百度、京东、新浪、网易、腾讯、淘宝等 官网:ptt:/ nginx. org/ ...
Hbase分布式部署
waplys的博客
08-19 323
Hbase分布式环境部署 选型 官方文档：http://hbase.apache.org/book.html#configuration JDK版本 Hbase-Hadoop配套表 ** 推荐版本组合：Hadoop(2.7.3) + Hbase(1.2.0) ** ** 当前版本组合：Hadoop(2.6.4) + Hbase(1.2.0) ** Zookeeper版本 ZooKeeper...
Hadoop分布式安装配置.docx
11-03
Hadoop分布式安装配置 Hadoop是当前大数据处理的主流技术之一，由于其开源、可扩展、灵活的特点，广泛应用于大数据处理、数据分析、机器学习等领域。为帮助读者更好地理解Hadoop的安装配置，本文将从大数据概念、...
Hadoop分布式集群配置指南
09-02
Hadoop分布式集群配置指南 Hadoop分布式集群配置是大数据处理的关键步骤之一，本指南将指导读者成功配置一个由5台计算机构成的Hadoop集群，并成功运行wordcount处理大型数据（大于50G）。 一、Hadoop集群架构简介 ...
Hadoop2.2.0安装配置手册！完全分布式Hadoop集群搭建过程
11-18
Hadoop2.2.0安装配置手册！完全分布式Hadoop集群搭建过程 按照文档中的操作步骤，一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程
Hadoop分布式部署配置文件
10-03
Hadoop分布式部署涉及到多个组件的配置，包括NameNode、DataNode、ResourceManager、NodeManager等，以及相关的配置文件。下面将详细介绍Hadoop分布式部署中的关键知识点。 1. **Hadoop架构基础** Hadoop的核心由...
Hbase完全分布式集群搭建(详细+，看完就会，).docx
05-04
记录我的学习之旅，每份文档倾心倾力，带我成我大牛，回头观望满脸笑意，望大家多多给予意见，有问题或错误，请联系 我将及时改正；借鉴文章标明出处，谢谢
搭建HBase完全分布式数据库
12-15
一、Hbase数据库概述； 二、Hbase体系结构； 三、Hbase数据库模型； 四、总结Hbase整体特点； 五、案例：搭建Hbase分布式数据库系统
HBase的分布式安装部署
阿坨的博客
05-06 662
文章目录前言下载HBase解压并安装HBase配置HBase环境变量HBase配置把配置好的HBase目录分发到Slave1开启HBase 前言 在安装部署HBase之前，请先安装好Hadoop和zookeeper，Hadoop和zookeeper的安装部署可以分别参见我之前的博客：小坨的在CentOS6.4搭建hadoop集群的实践笔记 和 小坨的Spark分布式集群环境搭建小笔记 下载HBas...
Hbase完全分布式部署
紫色飞猪
11-29 632
前言 关于hadoop完全分布式部署，我在https://blog.csdn.net/zisefeizhu/article/details/84317520已经有详细步骤 接https://blog.csdn.net/zisefeizhu/article/details/84317520继续部署hbase分布式 关于有关原理请关注这个大佬https://www.cnblogs.com/edi...
Hbase2.2.4分布式部署
ty-boy的博客
03-30 1897
Hbase2.2.4分布式部署 HDFS配置： hdfs node: ambari: cd /usr/hdp/2.6.5.0-292/hadoop/conf scp core-site.xml hdfs-site.xml root@master:/home/hbase-2.2.4 ssh hdfs@hdfs_node_ip hdfs 权限更改： hdfs dfs -ls / hdf...
hbase完整分布式集群搭建
所有博客迁移到博客园 -- http://www.cnblogs.com/huhongy/
05-31 208
hbase完整分布式集群搭建 简介： 　　hadoop的单机，伪分布式，分布式安装 hadoop2.8 集群 1 （伪分布式搭建 hadoop2.8 ha 集群搭建 　　hbase完整分布式集群搭建 　　hadoop完整集群遇到问题汇总 Hbase完成分布式安装步骤： 　　注意。hbase集群我是在前面的h...
Hbase分布式集群部署
qq_25409421的博客
09-21 9492
HBase 是一个构建在 Hadoop 文件系统之上的面向列的数据库管理系统。HBase 是一种类似于 Google’s Big Table 的数据模型，它是 Hadoop 生态系统的一部分，它将数据存储在 HDFS 上。今天我们就来在我们的虚拟机中实现HBase分布式集群服务部署
hadoop分布式集群安装与配置步骤
06-07
以下是Hadoop分布式集群安装与配置的步骤： 1. 确定集群规模：包括节点数量、硬件配置、操作系统版本等。 2. 安装Java环境：Hadoop是基于Java开发的，因此需要先安装Java环境，建议使用OpenJDK或Oracle JDK。 3. ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值