Hadoop集群部署（完全分布式模式、hadoop2.7.3+安装包）

已于 2024-04-07 20:23:28 修改
阅读量1k 收藏 18
点赞数 18
分类专栏： 大数据 文章标签： hdfs hadoop 大数据
于 2024-04-07 19:52:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Gongmoye/article/details/137439429
版权

目录

一、上传、解压&配置

（一）上传

（二）解压

（三）配置hadoop系统环境变量

1.配置hadoop环境变量

2.让环境变量生效

3.验证hadoop系统环境变量

二、修改配置文件

 （一）前置介绍

（二）更改配置文件

1.配置Hadoop集群主机点

2.修改core-site.xml文件

3.修改hdfs-site.xml文件

4.修改mapred-site.xml文件

5.修改yarn-site.文件

6.修改slaves文件

三、分发

（一）分发hadoop安装目录

 （二）分发系统变量文件

四、启动集群

（一）格式化集群

（二）启动集群

（三）通过UI查看Hadoop运行状态

本文是以root身份来控制集群启停的，后面会出一篇以hadoop用户来控制集群启停博客。

hadoop2.7.3.tar.gz 安装包提取

链接：https://pan.baidu.com/s/1W3TidAVddQZ4n5Lm2NJB_Q 
提取码：ay17

一、上传、解压&配置

（一）上传

1.上传hadoop安装包到hp1节点中

（二）解压

1.解压缩安装包到/export/server/中

tar -zxvf hadoop-2.7.3.tar.gz -C /export/server/

2.将 hadoop-2.7.3 改名为hadoop

首先进入相应目录

然后将 hadoop-2.7.3 改名为hadoop，命令为

mv hadoop-2.7.3 hadoop

（三）配置hadoop系统环境变量

1.配置hadoop环境变量

vi /etc/profile

 

在里面添加如下内容：

export HADOOP_HOME=/export/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

2.让环境变量生效

为了让系统变量文件中添加的内容生效，执行 “ source /etc/profile ”命令初始化系统环境变量，使添加的hadoop系统环境变量生效。

3.验证hadoop系统环境变量

在虚拟机hp1任意目录执行 “ hadoop version ” 命令，查看当前虚拟机中hadoop的版本号

二、修改配置文件

 （一）前置介绍

配置HDFS集群，我们主要涉及到如下文件的修改：

hadoop-env.sh

配置Hadoop运行所需的环境变量

yarn-env.sh

配置YARN运行所需的环境变量

core-site.xml

Hadoop核心全局配置文件

hdfs-site.xml

HDFS核心配置文件

mapred-site.xml

MapReduce核心配置文件

yarn-site.xml

YARN核心配置文件

slaves

配置从节点（DataNode）有哪些

这些文件均存在于 $HADOOP_HOME/etc/hadoop文件夹中

PS: $HADOOP_HOME是后续我们要设置的环境变量，其指代Hadoop安装文件夹即 /export/server/hadoop

修改文件之间需要进入到对应目录

（二）更改配置文件

1.配置Hadoop集群主机点

vim hadoop-env.sh

找到JAVA_HOME参数位置，进入如下修改（注意JDK路径）

上述配置文件中设置的是Hadoop运行时需要的JDK环境变量，目的是让Hadoop启动时能够执行守护进程。

2.修改core-site.xml文件

vim core-site.xml

该文件是Hadoop的核心配置文件，其目的是配置HDFS地址、端口号，以及临时文件目录。打开配置文件后，在<configuration></configuration>之间添加如下内容

  <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hp1:9000</value>
    </property>

   <property>
        <name>hadoop.tmp.dir</name>
        <value>/export/server/hadoop/tmp</value>
    </property>

上述核心配置文件中，配置了HDFS的主进程NameNode运行主机（也就是此次Hadoop集群的主节点位置），同时配置了Hadoop运行时生成数据的临时目录。

3.修改hdfs-site.xml文件

vim hdfs-site.xml

该文件用于设置HDFS的NameNode和DataNode两大进程。打开该配置文件，在<configuration></configuration>之间添加如下内容

    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>

    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hp2:50090</value>
    </property>

在上述配置文件中，配置了HDFS数据块的副本数量（默认值就是3），并根据需要设置了Secondary NameNode所在服务的HTTP协议地址。

4.修改mapred-site.xml文件

该文件是MapReduce的核心配置文件，用于指定MapReduce运行时框架。因为hadoop版本不同，有些版本里面在/etc/hadoop/目录中默认没有该文件，需要先通过 “ cp mapred-site.xml.template mapred-site.xml " 命令将文件复制并重命名为 “ mapred-site.xml "。接着，打开mapred-site.xml文件进行修改：

vim mapred-site.xml

在<configuration></configuration>之间添加如下内容

      <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
      </property>

5.修改yarn-site.文件

vim yarn-site.xml

本文件是YARN框架的核心配置文件，需要指定YARN集群的管理者。

在<configuration></configuration>之间添加如下内容

      <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>hp1</value>
      </property>

      <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
      </property>

在上述配置文件中，配置了YARN的主进程ResourceManager运行主机为hp1，同时配置了NodeManager运行时的附属服务，需要配置为mapreduce_shuffle才能正常运行MapReduce默认程序。

6.修改slaves文件

如果是 hadoop 3.x版本即为workers文件

该文件用于记录Hadoop集群所有从节点（HDFS的DataNode 和 YARN 的 NodeManager 所在主机）的主机名，用来配合一键启动脚本启动集群从节点（并且还需要保证关联节点配置了SSH免密登录）。打开该配置文件，先删除里面的内容（默认localhost），然后配置如下内容

hp1

hp2

hp3

在上述配置中，配置了Hadoop集群所有从节点的主机名为hp1、hp2、hp3（这是因为此次在该3台机器上搭建Hadoop集群，同时前面的配置文件hdfs-site.xml指定了HDFS服务副本数量为3）

三、分发

（一）分发hadoop安装目录

使用scp命令将虚拟机hp1的hadoop安装目录分发至虚拟机hp2和hp3中存放安装程序的目录

scp -r /export/server/hadoop root@hp2:/export/server/

scp -r /export/server/hadoop root@hp3:/export/server/

 （二）分发系统变量文件

scp /etc/profile hp2:/etc/profile

scp /etc/profile hp3:/etc/profile

执行完上述所有指令后，还需要再其他子节点hp2、hp3上分别执行 "source /etc/profile " 指令立即刷新配置文件。

至此，整个集群所有节点就都有了Hadoop运行所需的环境和文件，Hadoop集群也就安装配置完成。

四、启动集群

（一）格式化集群

hdfs namenode -format 或者 hadoop namenode -format

格式化指令只需要再Hadoop集群初次启动前执行即可，后续重复启动就不需要执行格式化了。

（二）启动集群

一键启动集群命令：start-all.sh

一键关闭集群命令：stop-all.sh

在整个Hadoop集群服务启动完成之后，可以在各自机器上通过jps指令查看各节点的服务进程启动情况

（三）通过UI查看Hadoop运行状态

Hadoop集群正常启动后，它默认开放了50070和8088两个端口，分别用于监控HDFS集群和YARN集群。通过UI可以方便地进行集群的管理和查看，只需要在本地操作系统的浏览器输入集群服务的IP和对应的端口号即可访问。

http://hp1:50070（集群服务IP+端口号） 

查看HDFS集群状态

http://hp1:8088 查看YARN集群状态

阿瑜.
关注
  • 18
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
hadoop-2.7.3.tar.gz 下载 hadoop tar 包下载
05-17
hadoop-2.7.3.tar.gz 下载 目前相对比较稳定的版本 hadoop tar 包下载hadoop-2.7.3.tar.gz 下载 hadoop tar 包下载
hadoop2.7完全分布式搭建
jessDL的博客
01-19 382
环境准备 一共四台服务器，均为centos7, 安装jdk8 服务1 ：192.168.1.38 服务2 ：192.168.1.39 服务3 ：192.168.1.40 服务4 : 192.168.1.41 1 修改主机名 为 s201 vi /etc/hostname 2 修改host文件 vi /etc/host 127.0.0.1 localhost 192.168.1.38 s20...
分布式文件系统HDFS的部署（学习笔记）
最新发布
2301_76869904的博客
04-27 1125
admin@n1 ~]$ scp hadoop-3.3.1.tar.gz n2:/home/admin/ 私钥 private key。加密的密钥-->公钥 public key。上传文件jdk-8u261-linux-x64.rpm。加密的密钥和解密的密钥相同。加密的密钥和解密的密钥不同。
Hadoop全分布式的安装--hadoop-2.7.3
qq_55906442的博客
12-01 3348
Hadoop全分布式的安装--hadoop-2.7.3
Windows中安装hadoop2.7.3
whj3366的博客
02-26 958
环境 主机：Windows 10 Hadoop：2.7.3 Java：1.8 声明：参考了简书maxkibble作者的文章，地址：https://www.jianshu.com/p/faf038923093， 学习过程中遇到的问题，作为记录保存在此；在以下过程中如遇错误，还请移步至 maxkibble查看对应解决方案，这里就不在一一列举了 步骤 1、jdk是否已存在，不存在请安装 2、下载 hadoop-2.7.3.tar.gz 地址：https://archive.apache...
hadoop-2.7.3安装
m0_55834564的博客
09-16 1745
6.hadoop02，hadoop03重复3-5的步骤配置就可以。1.上传hadoop-2.7.3.tar.gz到指定位置。2.hadoop02，hadoop03重复步骤配置就可以。在这里hadoop-2.7.3.tar.gz，官网下载。3.创建配置CentOS-DVD.repo。1. 配置mapred-site.xml。4.配置mapred-site.xml。在esc状态下：set nu显示行号。3.配置hadoop-env.sh。1.配置core-site.xml。2.配置hdfs-site.xml。
Hadoop-由Apache基金会所开发的分布式系统基础架构
一点博客
08-10 1573
用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Had...
hadoop-2.7.3安装包
03-30
hadoop-2.7.3安装包hadoop-2.7.3安装包hadoop-2.7.3安装包hadoop-2.7.3安装包hadoop-2.7.3安装包hadoop-2.7.3安装包hadoop-2.7.3安装包
大数据技术系列_Hadoop_2.7.3_安装包
03-06
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed ...
centos7+hadoop2.7.3+jdk1.8
11-01
本文将详细讲解如何在CentOS7上安装Hadoop2.7.3和JDK1.8，以及相关配置步骤。 首先，我们需要确保系统主机名正确设置，这对于集群中的节点间通信至关重要。在CentOS7中，可以通过以下步骤修改主机名： 1. 使用`vi`...
hadoop-2.7.3源码和安装包.zip
06-22
Hadoop相关资源下载，包括 hadoop-2.7.3源码和Hadoop的2.7.3的安装包，用于Hadoop源码编译和学习。
hadoop-2.7.3.tar.gz.zip
06-07
Apache Hadoop是一款支持数据密集型分布式应用程序并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据谷歌公司发表的MapReduce和Google文件系统的论文自行实现而成。所有的Hadoop模块都有一个基本假设，即硬件故障是常见情况，应该由框架自动处理。
hadoop-2.7.3.2.6.4.0-91.tar.gz
07-11
ambari源码编译。部分网络资源被墙，下载文件后上传服务器，更改pom文件网络地址为上传后的本地文件地址，即可编译通过
hadoop-native-lib-x64-2.7.3.tar.gz
09-11
hadoop 2.7.3 的本地接口库，snappy 使用的是1.1.3版本。使用时直接把包解压后放到$HADOOP_HOME/lib/native目录下即可。 [root@pseudo ~]# hadoop checknative -a 17/09/11 14:30:49 WARN bzip2.Bzip2Factory: Failed to load/initialize native-bzip2 library system-native, will use pure-Java version 17/09/11 14:30:49 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library Native library checking: hadoop: true /taidl/hadoop/lib/native/libhadoop.so zlib: true /lib64/libz.so.1 snappy: true /taidl/hadoop/lib/native/libsnappy.so.1 lz4: true revision:99 bzip2: false openssl: true /lib64/libcrypto.so 17/09/11 14:30:50 INFO util.ExitUtil: Exiting with status 1 [root@pseudo ~]#
hadoop-2.7.3.tar.gz arm
07-17
Hadoop-2.7.3 arm平台麒麟操作系统部署，已编译支持snappy lz4压缩 Hadoop国产化部署 Linux version 4.19.90-vhulk2001.1.0.0026.ns7.15.aarch64 (root@mockbuild) (gcc version 4.8.5 20150623 (NeoKylin 4.8.5-36) (GCC))
hadoop-2.7.0.tar.gz（ 64位）
05-28
因为官网下载下来的Hadoop安装包是x86，32位的，64位需要自己编译。 现提供64位hadoop-2.7.0.tar.gz Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。 Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。
jdk+hadoop2.7.3+hbase1.2.6在ubuntu14.06上安装步骤
10-10
jdk1.8+hadoop2.7.3+hbase1.2.6在ubuntu14.06上安装步骤，在这里，没有说明ubuntu的安装步骤，读者要先将ubuntu安装好，然后将需要的安装包分别到官网下载准备。
hadoop安装
Jsu蘇的博客
07-30 174
Hadoop 安装 1、安装java jdk 版本 jdk1.8.0_141 步骤： ​ 1、创建 /opt/SoftWare/java 并将jar包拉进去 ​ 命令 tar -zxvf jdk1.8.0_141.tar.gz 解压 ​ 2、配置 ​ vi /etc/profile #set java environment export JAVA_HOME=/opt/software/java/jdk1.8.0_141 export JRE_HOME=/opt/software/java
hadoop 2.7.3 版本下载
qq_36608036的博客
08-05 7882
通过Apache 官方仓库可下载老版本：hadoop 2.7.3 附上下载地址：https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/
hadoop-3.3.3完全分布式集群搭建
09-10
为了搭建hadoop-3.3.3的完全分布式集群，需要完成以下步骤： 1. 确保环境准备：安装JDK 1.8、hadoop 3.3.3和CentOS 7操作系统。 2. 配置JDK环境变量：解压JDK，并修改/etc/profile文件，添加JDK的路径到环境变量中。 3. 搭建hadoop集群：关闭防火墙，修改主机名，添加IP映射，配置免密登录。 4. 修改hadoop配置文件：解压hadoop，配置hadoop环境变量，修改hadoop的配置文件，包括hadoop-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml和workers。 5. 分发文件：将配置好的hadoop文件分发到集群中的所有节点。 6. 格式化namenode：使用hadoop命令行工具格式化namenode。 7. 启动Hadoop集群并测试：启动hadoop集群，可以通过查看进程、访问web界面和运行官方案例WordCount来测试集群的运行情况。 通过以上步骤，就可以成功搭建hadoop-3.3.3的完全分布式集群。请根据实际需求和操作系统进行相应的调整和配置。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值