3.Hadoop集群搭建

最新推荐文章于 2024-05-14 09:04:39 发布
最新推荐文章于 2024-05-14 09:04:39 发布
阅读量103 收藏
点赞数
分类专栏： 从0-1搭建大数据集群环境搭建 文章标签： hadoop 大数据 分布式 Hadoop集群搭建
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HelloWowofei/article/details/132003934
版权

cd /export/software/

rz 上传

解压操作

tar -zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz -C /export/server/

添加软连接:

cd /export/server/

ln -s hadoop-3.3.0/ hadoop

    1. Hadoop安装包目录结构

解压hadoop-3.3.0-Centos7-64-with-snappy.tar.gz，目录结构如下：

bin：Hadoop最基本的管理脚本和使用脚本的目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用Hadoop。

etc：Hadoop配置文件所在的目录，包括core-site,xml、hdfs-site.xml、mapred-site.xml等从Hadoop1.0继承而来的配置文件和yarn-site.xml等Hadoop2.0新增的配置文件。

include：对外提供的编程库头文件（具体动态库和静态库在lib目录中），这些头文件均是用C++定义的，通常用于C++程序访问HDFS或者编写MapReduce程序。

lib：该目录包含了Hadoop对外提供的编程动态库和静态库，与include目录中的头文件结合使用。

libexec：各个服务对用的shell配置文件所在的目录，可用于配置日志输出、启动参数（比如JVM参数）等基本信息。

sbin：Hadoop管理脚本所在的目录，主要包含HDFS和YARN中各类服务的启动/关闭脚本。

share：Hadoop各个模块编译后的jar包所在的目录，官方自带示例。

    1. Hadoop配置文件修改

Hadoop安装主要就是配置文件的修改，一般在主节点进行修改，完毕后scp下发给其他各个从节点机器。

      1. hadoop-env.sh

文件中设置的是Hadoop运行时需要的环境变量。JAVA_HOME是必须设置的，即使我们当前的系统中设置了JAVA_HOME，它也是不认识的，因为Hadoop即使是在本机上执行，它也是把当前的执行环境当成远程服务器。

cd /export/server/hadoop/etc/hadoop/

vim hadoop-env.sh

添加: 在54行

export JAVA_HOME=/export/server/jdk1.8.0_241/

#文件最后添加: 在第 439行下

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

      1. core-site.xml

hadoop的核心配置文件，有默认的配置项core-default.xml。

core-default.xml与core-site.xml的功能是一样的，如果在core-site.xml里没有配置的属性，则会自动会获取core-default.xml里的相同属性的值。

cd /export/server/hadoop/etc/hadoop/

vim core-site.xml

在文件的configuration的标签中添加以下内容:

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://node1.itcast.cn:8020</value>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/export/data/hadoop</value>

    </property>

    <!-- 设置HDFS web UI用户身份 -->

    <property>

        <name>hadoop.http.staticuser.user</name>

        <value>root</value>

    </property>

    <!-- 整合hive -->

    <property>

        <name>hadoop.proxyuser.root.hosts</name>

        <value>*</value>

    </property>

    <property>

        <name>hadoop.proxyuser.root.groups</name>

        <value>*</value>

    </property>

      1. hdfs-site.xml

HDFS的核心配置文件，有默认的配置项hdfs-default.xml。

hdfs-default.xml与hdfs-site.xml的功能是一样的，如果在hdfs-site.xml里没有配置的属性，则会自动会获取hdfs-default.xml里的相同属性的值。

cd /export/server/hadoop/etc/hadoop/

vim hdfs-site.xml

在文件的configuration的标签中添加以下内容:

    <!-- 指定secondarynamenode运行位置 -->

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>node2.itcast.cn:50090</value>

    </property>

      1. mapred-site.xml

MapReduce的核心配置文件，有默认的配置项mapred-default.xml。

mapred-default.xml与mapred-site.xml的功能是一样的，如果在mapred-site.xml里没有配置的属性，则会自动会获取mapred-default.xml里的相同属性的值。

cd /export/server/hadoop/etc/hadoop/

vim mapred-site.xml

在文件的configuration的标签中添加以下内容:

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

    <property>

        <name>yarn.app.mapreduce.am.env</name>

        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>

    </property>

    <property>

        <name>mapreduce.map.env</name>

        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>

    </property>

    <property>

        <name>mapreduce.reduce.env</name>

        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>

    </property>

      1. yarn-site.xml

YARN的核心配置文件，有默认的配置项yarn-default.xml。

yarn-default.xml与yarn-site.xml的功能是一样的，如果在yarn-site.xml里没有配置的属性，则会自动会获取yarn-default.xml里的相同属性的值。

cd /export/server/hadoop/etc/hadoop/

vim yarn-site.xml

在文件的configuration的标签中添加以下内容:

    <!-- 指定YARN的主角色（ResourceManager）的地址 -->

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>node1.itcast.cn</value>

    </property>

    <!-- NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序默认值："" -->

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <!-- 是否将对容器实施物理内存限制 -->

    <property>

        <name>yarn.nodemanager.pmem-check-enabled</name>

        <value>false</value>

    </property>

    <!-- 是否将对容器实施虚拟内存限制。 -->

    <property>

        <name>yarn.nodemanager.vmem-check-enabled</name>

        <value>false</value>

    </property>

    <!-- 开启日志聚集 -->

    <property>

        <name>yarn.log-aggregation-enable</name>

        <value>true</value>

    </property>

    <!-- 设置yarn历史服务器地址 -->

    <property>

        <name>yarn.log.server.url</name>

        <value>http://node1.itcast.cn:19888/jobhistory/logs</value>

    </property>

    <!-- 保存的时间7天 -->

    <property>

        <name>yarn.log-aggregation.retain-seconds</name>

        <value>604800</value>

    </property>

      1. workers

workers文件里面记录的是集群主机名。主要作用是配合一键启动脚本如start-dfs.sh、stop-yarn.sh用来进行集群启动。这时候workers文件里面的主机标记的就是从节点角色所在的机器。

vim workers

清空内容后, 添加以下内容:

node1.itcast.cn

node2.itcast.cn

node3.itcast.cn

    1. scp同步安装包

cd /export/server

scp -r hadoop-3.3.0/ node2:$PWD

scp -r hadoop-3.3.0/ node3:$PWD

分发后, 需要在node2和node3上分别创建软连接

cd /export/server/

ln -s hadoop-3.3.0/ hadoop

在node1上进行了配置文件的修改，使用scp命令将修改好之后的安装包同步给集群中的其他节点。

    1. Hadoop环境变量

3台机器都需要配置环境变量文件。

vim /etc/profile

#HADOOP_HOME

export HADOOP_HOME=/export/server/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

    1. Hadoop集群启动、初体验
      1. 启动方式

要启动Hadoop集群，需要启动HDFS和YARN两个集群。

注意：首次启动HDFS时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的HDFS在物理上还是不存在的。

hadoop namenode -format

        1. 单节点逐个启动

在主节点上使用以下命令启动HDFS NameNode：

$HADOOP_HOME/bin/hdfs --daemon start namenode

在每个从节点上使用以下命令启动HDFS DataNode：

$HADOOP_HOME/bin/hdfs --daemon start datanode

在node2上使用以下命令启动HDFS SecondaryNameNode：

$HADOOP_HOME/bin/hdfs --daemon start secondarynamenode

在主节点上使用以下命令启动YARN ResourceManager：

$HADOOP_HOME/bin/yarn --daemon start resourcemanager

在每个从节点上使用以下命令启动YARN nodemanager：

$HADOOP_HOME/bin/yarn --daemon start nodemanager

如果想要停止某个节点上某个角色，只需要把命令中的start改为stop即可。

        1. 脚本一键启动

如果配置了etc/hadoop/workers和ssh免密登录，则可以使用程序脚本启动所有Hadoop两个集群的相关进程，在主节点所设定的机器上执行。

hdfs：$HADOOP_PREFIX/sbin/start-dfs.sh

yarn: $HADOOP_PREFIX/sbin/start-yarn.sh

停止集群：stop-dfs.sh、stop-yarn.sh

同时还提供了完整的一键化脚本:

start-all.sh 和 stop-all.sh

    1. 启动后的效果

     

    1. 集群web-ui

一旦Hadoop集群启动并运行，可以通过web-ui进行集群查看，如下所述：

NameNode http://nn_host:port/ 默认9870.

ResourceManager http://rm_host:port/ 默认 8088.

 

    1. MapReduce jobHistory

JobHistory用来记录已经finished的mapreduce运行日志，日志信息存放于HDFS目录中，默认情况下没有开启此功能，需要在mapred-site.xml中配置并手动启动。

      1. 修改mapred-site.xml

cd /export/servers/hadoop-3.3.0/etc/hadoop

vim mapred-site.xml

MR JobHistory Server管理的日志的存放位置

<property>

        <name>mapreduce.jobhistory.address</name>

        <value>node1:10020</value>

    </property>

查看历史服务器已经运行完的Mapreduce作业记录的web地址，需要启动该服务才行

<property>

        <name>mapreduce.jobhistory.webapp.address</name>

        <value>node1:19888</value>

    </property>

      1. 分发配置到其他机器

cd /export/servers/hadoop/etc/hadoop

scp -r mapred-site.xml node2:$PWD

scp –r mapred-site.xml node3:$PWD

      1. 启动jobHistoryServer服务进程

mapred --daemon start historyserver

如果关闭的话 用下述命令

mapred --daemon stop historyserver

      1. 页面访问jobhistoryserver

http://node1:19888/jobhistory

一鸣888
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Hadoop3 集群搭建
weixin_42660202的博客
02-22 733
Hadoop3集群
hadoop3.x集群搭建
qq_25542879的博客
04-26 6285
hadoop3.x集群搭建(亲测有效~） 之前集群搭建过hadoop2.6和2.7，但是听说hadoop3.x有新特性，减少了IO的次数，据介绍并行计算能力是spark的10倍。所以，笔者开始尝试搭建，找网上找了好多资料，结合自己的经验，终于搭建成功，花了从虚拟机安装到搭建hadoop框架花了两天时间,着实不容易哈哈。接下来，将一一介绍精简的配置搭建hadoop。 准备步骤 你需要准备3或者3...
2024年最新Hadoop大数据集群搭建（超详细）_hadoop集群搭建(3)，斗鱼直播大数据开发开发二面被刷
2401_84590306的博客
05-14 602
执行该命令，按3下回车在hadoop01，hadoop02和hadoop03上分别执行以下三行都执行完毕后，三台机器就可以使用ssh连接而无需输入密码了测试一下：在hadoop02上输入ssh hadoop03，能够免密登录然后exit退出回来hadoop02========================== 快照 ==================================
Hadoop3 - 集群搭建
小毕超博客
10-04 1891
集群启动有两种方式，一种是在每台主机中启动相应的组件，另一种 hadoop 为我们提供了一键启停脚本，前提是配置好机器之间的SSH免密登录和workers文件。访问地址：http://resourcemanager_host:8088。访问地址：http://namenode_host:9870。集群，两者逻辑上分离，但物理上常在一起。进行了简单的介绍，并搭建了单机版的。，本篇文章继续搭建集群版本的。三台主机需具备 Java 环境。下面准备在三台服务器上安装。
Hadoop3集群搭建
识途老码
01-10 1125
Hadoop集群搭建
hadoop3 集群搭建
qq_34125999的博客
12-31 442
【代码】hadoop3 集群搭建。
3.基于hadoop集群搭建hbase
06-17
### 基于Hadoop集群搭建HBase集群详解 #### 一、引言 随着大数据技术的迅猛发展，海量数据的高效存储与处理成为企业关注的重点。Hadoop作为一款能够处理大量数据的基础框架，被广泛应用于各类场景之中。然而，在...
1.hadoop集群环境搭建.docx
06-17
基于Centos7下的hadoop2.7集群的搭建。（在vmware中的2台虚拟机。）
hadoop集群搭建详细教程.docx
10-09
hadoop集群搭建详细教程
详解搭建ubuntu版hadoop集群
09-15
【搭建Ubuntu版Hadoop集群详解】 在本文中，我们将详细阐述如何在Ubuntu 16.04环境下搭建Hadoop集群。Hadoop是一个开源的分布式计算框架，它允许处理和存储大量数据，尤其适合大数据分析。Ubuntu是Linux发行版中的...
Hadoop集群搭建.pdf
08-17
### Hadoop集群搭建知识点详解 #### 一、Hadoop集群简介 Hadoop是一个开源软件框架，主要用于分布式存储和处理大规模数据集。它基于Google的MapReduce论文和Google File System（GFS）论文设计而成，主要由HDFS...
hadoop3.0集群搭建HA
02-06
hadoop3.0-HA搭建，3节点。关闭防火墙 systemctl stop firewalld.service 关闭防火墙开机启动 systemctl disable firewalld.service 禁用selinux安全 查看状态：sestatus 临时关闭: setenforce 0 永久关闭：vi /etc/sysconfig/selinux SELINUX=disabled
hadoop3.1.3集群搭建(ha+yarn)
01-07
当前环境： centos6.5,jdk8 准备工作： 1.服务器之间免密登录 $ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys $ chmod 0600 ~/.ssh/authorized_keys 2.服务器之间时间同步 3.安装zookeeper集群 搭建步骤： 1.下载apache hadoop3.1.3并上传至服务器解压 https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.3/ha
【大数据】Hadoop3集群搭建
qq_25951401的博客
12-06 229
Hadoop3集群搭建 一、准备 官方文档-Setting up a Single Node Cluster 官网下载 可以下载源码，下载后需要构建一下 # 科学上网下载比较快，可以自己电脑下好了在上传到服务器 wget https://downloads.apache.org/hadoop/common/hadoop-3.3.0/hadoop-3.3.0-src.tar.gz # 解压文件 tar -zxvf hadoop-3.3.0-src.tar.gz # maven构建 也可以直接下载安
Hadoop高手之路3-Hadoop集群搭建
W_chuanqi的博客
11-08 1630
Hadoop集群启动后，默认开发了9870端口（hadoop3.0以上版本，老版本使用50070）用于监控hdfs，8088用于监控yarn，可以通过WebUI查看。通过这个案例可以看出，圆周率的精度很低，mapreduce不善于数据计算，而在于数据的分析。JDK是java的开发工具包，hadoop是用java开发的，所以需要安装jdk。并没有启动独立模式，也就是启动独立模式也需要对hadoop进行配置。守护进程运行在由多台主机搭建的集群上，是真正的生产环境。又称单机模式，所有的进程运行在一台主机上。
Hadoop 三节点集群搭建
qq_65853129的博客
04-07 1800
本文档介绍了如何设置和配置单节点Hadoop安装，以便您可以使用Hadoop MapReduce和Hadoop分布式文件系统（HDFS）快速执行简单的操作。 先决条件 支持平台 支持GNU / Linux作为开发和生产平台。Hadoop已在具有2000个节点的GNU / Linux集群上进行了演示。 Windows也是受支持的平台，但是以下步骤仅适用于Linux。 必备软件 Linux所需的软件包括： 必须安装Java™。HadoopJavaVersions中描述了推荐的Ja
hadoop3 完全分布式集群搭建（一）
吉他程序员的博客
11-15 837
基础概念 1. NameNode 存储文件的元数据。如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和所在的DataNode等。 2. DataNode 具体存储文件块数据，以及数据块校验和。 3. Secondary NameNode(2nn) 每隔一段时间对NameNode元数据备份。 4. ResourceManager 管理整个集群的资源（内存，cpu等）。 5. NodeManager 管理单个节点的资源（内存，cpu等）。 开始搭建
Hadoop3——集群搭建以及初体验
Wxxx744的博客
10-13 552
@[TOC] 1. 匹配主机名 @[TOC]2. 下载安装hadoop @[TOC]3. 配置Hadoop环境
hadoop3集群搭建详解（自身总结）
薛秋艳的博客
10-09 1156
hadoop3 确定集群所需要的机器 ，我由于机器限制 只有三台机器，一般的数据节点至少要有三个副本 由于机器限制我这里就用了两个副本了（我这里hadoop01是主节点） hadoop01 hadoop02 hadoop03 三台服务器 服务器环境搭建 hadoop3 需要的java环境必须在1.8 以上 hadoop3.0.0.1.tar.gz 项目文件下载 解压 解压后需要多件几个文件夹 在...
Hadoop集群搭建实验收获及思考
最新发布
05-17
Hadoop集群搭建实验可以让你深入了解Hadoop的原理和实现，掌握分布式系统的搭建和管理技能。 在Hadoop集群搭建实验中，你可以学习到以下内容： 1. Hadoop集群架构及组成部分：包括HDFS、YARN、MapReduce等组件的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一鸣888

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值