大数据基础平台搭建-（二）Hadoop集群搭建

已于 2023-01-06 13:20:52 修改
阅读量721 收藏 1
点赞数
分类专栏： 大数据 文章标签： hadoop 大数据 hdfs
于 2022-12-22 16:57:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dyj095/article/details/128409775
版权

大数据基础平台搭建-（二）Hadoop集群搭建

大数据平台系列文章：
1、大数据基础平台搭建-（一）基础环境准备
2、大数据基础平台搭建-（二）Hadoop集群搭建
3、大数据基础平台搭建-（三）Hadoop集群HA+Zookeeper搭建
4、大数据基础平台搭建-（四）HBase集群HA+Zookeeper搭建
5、大数据基础平台搭建-（五）Hive搭建

大数据平台是基于Apache Hadoop_3.3.4搭建的；

目录

一、部署架构

在这里插入图片描述

二、在hnode1服务器上搭建Name_Node_Master

1、解压Hadoop

[root@hnode1 ~]# cd /opt/hadoop/
[root@hnode1 hadoop]# mkdir data
[root@hnode1 hadoop]# tar -xzvf hadoop-3.3.4.tar.gz

2、配置HADOOP_HOME环境变量

[root@hnode1 hadoop]# vim /etc/profile
#Hadoop
export HADOOP_HOME=/opt/hadoop/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

[root@hnode1 hadoop]# source /etc/profile

3、配置Hadoop集群配置文件

配置文件所在的目录/opt/hadoop/hadoop-3.3.4/etc/hadoop/，所要编辑的配置文件如下表所示

序号配置文件说明
1core-site.xml配置Hadoop守护进程
2hdfs-site.xml配置HDFS的NameNode
3yarn-site.xml配置YARN的ResourceManager
4mapred-site.xml配置MapReduce应用
5hadoop-env.sh配置Hadoop环境变量
6yarn-env.sh配置Yarn环境变量
7workers配置Hadoop集群工作节点

1）. 配置hadoop守护进程

[root@hnode1 hadoop]# cd hadoop-3.3.4 
[root@hnode1 hadoop-3.3.4]# vim etc/hadoop/core-site.xml

<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hnode1:8020</value>
    </property>
    <!-- 在读写SequenceFiles时缓存区大小128k -->
    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>
    <!-- 指定 hadoop 数据的存储目录  -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/data</value>
    </property>
    <!-- 配置 HDFS 网页登录使用的静态用户为 root -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
    </property>
</configuration>

2）. 配置NameNode

[root@hnode1 hadoop-3.3.4]# vim etc/hadoop/hdfs-site.xml

<configuration>
    <!-- NameNode Master节点 web 端访问地址-->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>hnode1:9870</value>
    </property>

    <!-- NameNode Seconde节点 web 端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hnode2:9868</value>
    </property>
</configuration>

3）. 配置YARN的ResourceManager

[root@hnode1 hadoop-3.3.4]# vim etc/hadoop/yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
    <!-- 指定 MR 走 shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定 ResourceManager 的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hnode1</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
 
    <!-- 开启日志聚集功能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>

    <!-- 设置日志聚集服务器地址 -->
    <property>
        <name>yarn.log.server.url</name>
        <value>http://hnode2:19888/jobhistory/logs</value>
    </property>

    <!-- 设置日志保留时间为 7 天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>

</configuration>

4）. 配置MapReduce应用

[root@hnode1 hadoop-3.3.4]# vim etc/hadoop/mapred-site.xml

<configuration>
    <!-- 指定 MapReduce 程序运行在 Yarn 上 -->
    <property>
        <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>

    <!-- 历史服务器端地址 -->
    <property>
       <name>mapreduce.jobhistory.address</name>
       <value>hnode2:10020</value>
    </property>

    <!-- 历史服务器 web 端地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hnode2:19888</value>
    </property>

</configuration>

5）. 配置Hadoop环境变量

[root@hnode1 hadoop-3.3.4]# vim etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_271
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

5）. 配置Yarn环境变量

[root@hnode1 hadoop-3.3.4]# vim etc/hadoop/yarn-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_271

6）. 配置Hadoop集群工作节点

[root@hnode1 hadoop-3.3.4]# vim etc/hadoop/works

hnode1
hnode2
hnode3
hnode4
hnode5

三、在hnode2服务器上搭建Name_Node_Secondary

1、复制Hadoop

[root@hnode2 ~]#cd /opt/hadoop/
[root@hnode2 hadoop]# mkdir data
[root@hnode2 hadoop]# scp -r hnode1:/opt/hadoop/hadoop-3.3.4/ ./

2、配置HADOOP_HOME环境变量

[root@hnode2 hadoop]# vim /etc/profile 
#Hadoop
export HADOOP_HOME=/opt/hadoop/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
[root@hnode2 hadoop]# source /etc/profile

四、在hnode3服务器上搭建DataNode

1、复制Hadoop

[root@hnode3 ~]#cd /opt/hadoop/
[root@hnode3 hadoop]# mkdir data
[root@hnode3 hadoop]# scp -r hnode1:/opt/hadoop/hadoop-3.3.4/ ./

2、配置HADOOP_HOME环境变量

[root@hnode3 hadoop]# vim /etc/profile 
#Hadoop
export HADOOP_HOME=/opt/hadoop/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
[root@hnode3 hadoop]# source /etc/profile

五、在hnode4服务器上搭建Name_Node_Secondary

1、复制Hadoop

[root@hnode4 ~]#cd /opt/hadoop/
[root@hnode4 hadoop]# mkdir data
[root@hnode4 hadoop]# scp -r hnode1:/opt/hadoop/hadoop-3.3.4/ ./

2、配置HADOOP_HOME环境变量

[root@hnode4 hadoop]# vim /etc/profile 
#Hadoop
export HADOOP_HOME=/opt/hadoop/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
[root@hnode4 hadoop]# source /etc/profile

六、在hnode5服务器上搭建Name_Node_Secondary

1、复制Hadoop

[root@hnode5 ~]#cd /opt/hadoop/
[root@hnode5 hadoop]# mkdir data
[root@hnode5 hadoop]# scp -r hnode1:/opt/hadoop/hadoop-3.3.4/ ./

2、配置HADOOP_HOME环境变量

[root@hnode5 hadoop]# vim /etc/profile 
#Hadoop
export HADOOP_HOME=/opt/hadoop/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
[root@hnode5 hadoop]# source /etc/profile

七、启动Hadoop集群(在hnode1服务器上操作)

1. 创建Hadoop启动停止脚本

shell脚本是引用 FlyingCodes的博文大数据平台搭建详细流程（二）Hadoop集群搭建的脚本

[root@hnode1 ~]#cd /opt/hadoop/
[root@hnode1 hadoop]# vim hadoop.sh

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "缺少参数..."
    exit ;
fi

case $1 in
"start")
        echo " ===================| 启动 Hadoop集群 | ==================="
        echo " -------------------| 启动 HDFS      | ---------------"
        ssh hnode1 "/opt/hadoop/hadoop-3.3.4/sbin/start-dfs.sh"
        echo " -------------------| 启动 YARN      | ---------------"
        ssh hnode1 "/opt/hadoop/hadoop-3.3.4/sbin/start-yarn.sh"
        echo " -------------------| 启动 HistoryServer |---------------"
        ssh hnode2 "/opt/hadoop/hadoop-3.3.4/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " ===================| 关闭 Hadoop集群 |==================="
        echo " -------------------| 关闭 HistoryServer |---------------"
        ssh hnode2 "/opt/hadoop/hadoop-3.3.4/bin/mapred --daemon stop historyserver"
        echo " -------------------| 关闭 YARN      | ---------------"
        ssh hnode1 "/opt/hadoop/hadoop-3.3.4/sbin/stop-yarn.sh"
        echo " -------------------| 关闭 HDFS      | ---------------"
        ssh hnode1 "/opt/hadoop/hadoop-3.3.4/sbin/stop-dfs.sh"
;;
*)
    echo "输入的参数错误..."
;;
esac

[root@hnode1 hadoop]# chmod +x ./hadoop.sh

2. Hadoop集群初始化

[root@hnode1 hadoop]# start-dfs.sh
[root@hnode1 hadoop]# start-yarn.sh
[root@hnode1 hadoop]# hdfs namenode -format 
[root@hnode1 hadoop]# ./hadoop.sh stop

3. Hadoop集群启动

[root@hnode1 hadoop]# ./hadoop.sh start

在这里插入图片描述

八、确认Hadoop集群状态

1. 查看HDFS

http://hnode1:8088

在这里插入图片描述

2. 查看DataNode

http://hnode1:9870

在这里插入图片描述
在这里插入图片描述

3. 查看HistoryServer

http://hnode2:19888/jobhistory
在这里插入图片描述

老杜095
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
大数据核心平台技术-实验记录
01-09
大数据核心平台技术-实验记录一、前言二、实验内容实验一 ：Hadoop集群搭建三、实验过程记录2.1安装准备2.2 Hadoop集群搭建1、安装文件上传工具2、JDK安装3、Hadoop安装:4、Hadoop集群配置2.3Hadoop集群测试1、格式...
Hadoop大数据平台搭建（超详细步骤）
宥思的博客
09-09 9346
Hadoop大数据平台搭建
大数据Hadoop平台搭建(Apache)
weixin_43929380的博客
04-07 674
Hadoop环境搭建 一、节点详情 服务器 配置 组件 hadoop101 8核/16.0GB QuorumPeerMain,PrestoServer,Kafka,DataNode,NodeMananger,worker(spark) hadoop102 8核/16.0GB QuorumPeerMain,PrestoServer(coordernary),Kafka,Secon...
Hadoop大数据集群搭建（超详细）
热门推荐
小飞飞V5的博客
05-21 2万+
本文主要介绍了Hadoop集群的搭建过程，图文详细，适合新手入门
大数据基础——Hadoop大数据平台搭建
weixin_52610848的博客
01-27 5940
文章目录前言Hadoop大数据平台搭建一．Hadoop原理和功能介绍二．Hadoop安装部署三．Hadoop常用操作总结 此文章摘自充电了么创始人，CEO兼CTO陈敬雷先生的新书《分布式机器学习实战》（人工智能科学与技术丛书）。更多内容请关注充电了么APP，更多实用技能和理论知识都可以在这里找到！
vsftpd的参数说明和虚拟用户配置
不忘初心 方得始终
08-25 1808
vsftpd配置文件详解  1.默认配置： 1>允许匿名用户和本地用户登陆。      anonymous_enable=YES      local_enable=YES 2>匿名用户使用的登陆名为ftp或anonymous，口令为空；匿名用户不能离开匿名  用户家目录/var/ftp,且只能下载不能上传。 3>本地用户的登录名为本地用户名，口令为此本地用户的口令；本地用户可以在自己
CDH5hadoop集群搭建手册，大数据平台搭建手册
08-22
(CDH5.13.1)hadoop集群搭建手册，搭建流程都有包括，强烈推荐
hadoop集群搭建以及大数据平台搭建
07-27
文档包括hadoop完全分布式、高可用集群搭建教程以及filnk,flume,hive,mysql,spark集群spark高可集群,sqoop的搭建教程以及需要的各种环境安装包以及要使用的相关软件。
大数据平台伪分布式集群搭建
11-30
（实测）针对初学者的大数据hadoop伪分布式平台搭建（包括测试环境），平台各框架组成部分均为反复核对保证兼容性。 注：本平台针以jdk8和mysql8作为基础，内含安装包的下载地址，如遇问题，可@我
Hadoop大数据平台构建、规划大数据平台集群教学课件.pptx
06-21
规划Hadoop大数据平台集群 Hadoop集群的三种模式 单机模式 在单机上运行。 没有分布式文件系统，直接读写本地操作系统。 伪分布模式 在单机上运行。 使用分布式文件系统。 hadoop集群只有一个节点，因此hdfs的块复制...
hadoop平台搭建
12-20
有关大数据hadoop平台的搭建过程，里面有关于上传以及下载的操作。
Hadoop大数据计算平台搭建实践.pdf
07-04
Hadoop大数据计算平台搭建实践.pdf
《Hadoop大数据平台构建与应用》_米洪等_2018-02-01.pdf
05-22
《Hadoop大数据平台构建与应用》_米洪
hadoop大数据平台的构建
weixin_47726676的博客
12-19 2016
目录hadoop概述什么是hadoop？hadoop特点hadoop组成 hadoop概述 什么是hadoop？ Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。
大数据平台环境搭建
BIN_2011464841的博客
03-17 1万+
这段时间基于大数据技术与应用大赛所做的大数据平台环境搭建，原创文章。在自己电脑上搭建过几遍，按照上述笔记搭建没有出现问题。家人们如果在尝试搭建的过程中出现问题可以在下方评论区留言或者私信，我看到后会回复。希望能对有需求的萌新有所帮助。...
【大数据】hadoop运行环境搭建（搭建如此简单）
YG15165的博客
07-07 3103
首先准备好工具。下载好最新的VMware Workstation，CentorOS 7运行Linux，建议Linux桌面标准版，且创建好一个用户模板机一定要按照步骤做好准备，避免遗漏，否则一台一台改超级麻烦。搭建hadoop运行环境！！
Hadoop 平台搭建完整步骤
大尧酱的博客
09-28 1万+
Hadoop 平台搭建完整步骤 环境准备 也可以用VMware. 创建三台虚拟机  hd-master、hd-node1、hd-node2 三台虚拟机服务器中的主机名（hostname）分别更改为master、node1、node2。 创建好虚拟机之后 (1) 我们为了能够更加方便来识别主机，我们使用主机名而不是使用IP地址，以免多处配置带来更多的麻烦。把hd-master、hd-n...
云计算Hadoop集群的搭建及配置
最新发布
RQ_tianxian的博客
10-20 346
点击安装位置，点击完成主机忘记改名，后面改名不成功与外网ping不成功与Xftp连不上找不到openjdk路径hadoop配置文件路径出错java环境变量配置失败时间同步无法实现多次格式化NameNode导致无法启动监控集群修改能正常运行的已知bug最好在克隆的虚拟机上操作多拍快照很多奇奇怪怪的问题网上都找不到解决方法，要主动提高自己的自主排错能力云计算选修课Hadoop集群的搭建。
Hadoop大数据平台搭建(一)
weixin_44295572的博客
08-07 620
至此虚拟机已安装完成，接下来开始搭建Hadoop完全分布式。
在虚拟机上搭建大数据平台Hadoop伪分布式集群环境，先搭建java
06-10
好的，下面是在虚拟机上搭建大数据平台Hadoop伪分布式集群环境的过程，首先需要搭建 Java 环境： 1. 下载 Java：可以在官网下载 Java 的最新版本，也可以在 Linux 发行版的软件源中安装 OpenJDK。 2. 安装 Java：...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

老杜095

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值