Hadoop分布式集群搭建详细步骤

最新推荐文章于 2024-05-06 11:14:59 发布
最新推荐文章于 2024-05-06 11:14:59 发布
阅读量307 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fczheng/article/details/96483522
版权

主机名和ip映射如下：

192.168.1.112 hadoop112
192.168.1.113 hadoop113
192.168.1.114 hadoop114

集群部署规划：

在这里插入图片描述

一、Linux环境准备

1、更改主机名

（注：次操作分别在hadoop112,hadoop113,hadoop114上操作）


    [hadoop@hadoop112 ~]$ su root
    [root@hadoop112 hadoop]# vi /etc/sysconfig/network

输入以下内容：

NETWORKING=yes
HOSTNAME=hadoop112

确认主机名生效命令：

[root@hadoop112 hadoop]# hostname hadoop112

是否修改成功命令如下，在操作之前需要关闭当前终端，重新打开一个终端：

[root@hadoop112 hadoop]# hostname

执行完命令会看到下图的打印输入：
在这里插入图片描述

2、关闭防火墙

（注：次操作分别在hadoop112,hadoop113,hadoop114上操作）

关闭防火墙：

[root@hadoop112 hadoop]# service iptables stop

查看防火墙状态（如下图）：
在这里插入图片描述
开机禁用防火墙：

[root@hadoop112 hadoop]# chkconfig iptables off

3、配置hosts列表

（注：此操作分别在hadoop112,hadoop113,hadoop114上操作）

 	[root@hadoop112 hadoop]# su root
    [root@hadoop112 hadoop]# vi /etc/hosts

输入以下内容：

    192.168.1.112 hadoop112
    192.168.1.113 hadoop113
    192.168.1.114 hadoop114

4、SSH无密登录配置

a、生成公钥和私钥：

[hadoop@hadoop112.ssh]$ ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
显示如下：

[hadoop@hadoop112 .ssh]$ ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hadoop/.ssh/id_rsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /home/hadoop/.ssh/id_rsa.
Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub.
The key fingerprint is:
2b:c1:10:22:cc:0f:9d:c9:f1:57:28:be:c5:71:17:1b hadoop@hadoop100
The key's randomart image is:
+--[ RSA 2048]----+
|+ +.=   .. E.    |
| = *.o o.. .o    |
|  o o.o.o ..     |
|   . +.o         |
|      = S        |
|     . . .       |
|      . .        |
|       .         |
|                 |
+-----------------+

b、将公钥拷贝到要免密登录的目标机器上（hadoop113,hadoop114）：

[hadoop@hadoop112 .ssh]$ ssh-copy-id hadoop113
[hadoop@hadoop112 .ssh]$ ssh-copy-id hadoop114

注意：ssh访问自己也需要输入密码，所以我们需要将公钥也拷贝给hadoop100

[hadoop@hadoop112 .ssh]$ ssh-copy-id hadoop112

c、测试免秘钥登录是否成功

[hadoop@hadoop112.ssh]$ ssh hadoop113
Last login: Mon Jul 22 20:22:44 2019 from 192.168.1.10
[hadoop@hadoop113~]$ exit
logout
Connection to hadoop112 closed.
[hadoop@hadoop112 .ssh]$ ssh hadoop114
Last login: Mon Jul 22 20:22:53 2019 from 192.168.1.10
[hadoop@hadoop114 ~]$

二、Hadoop部署

1、安装JDK

(分别在hadoop112、hadoop113、hadoop114上执行以下操作)
在hadoop用户下执行以下操作

[hadoop@hadoop112 software]$ tar -zxvf /opt/software/jdk-8u144-linux-x64.tar.gz  -C /opt/module/

配置环境变量：

[hadoop@hadoop112 software]$ sudo vim /etc/profile

在最后面，输入以下内容

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

使用改动生效命令(原因改动环境变量后必须生效一下，不生效相当于没有配置)：

[hadoop@hadoop112 software]$ source /etc/profile

测试配置：

[hadoop@hadoop112 software]$ java -version
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)
[hadoop@hadoop112 software]$

2、安装Hadoop

在 /opt/module/hadoop-2.7.2/etc/hadoop/ 路径下分别配置core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、hadoop-env.sh、yarn-env.sh、slaves等配置文件。

1）配置集群

a、核心配置文件

[hadoop@hadoop112 hadoop]$ cd /opt/module/hadoop-2.7.2/etc/hadoop/
[hadoop@hadoop112 hadoop]$ vim core-site.xml

在该文件中编写如下配置：

<configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
	<name>fs.defaultFS</name>
    	<value>hdfs://hadoop112:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

</configuration>

b、HDFS配置文件

配置hadoop-env.sh

   [hadoop@hadoop112 hadoop]$ vi hadoop-env.sh

在该文件中编写如下配置：

export JAVA_HOME=/opt/module/jdk1.8.0_144

配置hdfs-site.xml

[hadoop@hadoop112 hadoop]$ vim hdfs-site.xml

在该文件中编写如下配置：

<configuration>
	<!-- 指定HDFS副本的数量 -->
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
	<!-- 指定Hadoop辅助名称节点主机配置 -->
	<property>
      		<name>dfs.namenode.secondary.http-address</name>
      		<value>hadoop114:50090</value>
	</property>
</configuration>

c、YARN配置文件
配置yarn-env.sh

[hadoop@hadoop112 hadoop]$ vim yarn-env.sh

在该文件中编写如下配置：

export JAVA_HOME=/opt/module/jdk1.8.0_144

配置yarn-site.xml

[hadoop@hadoop112 hadoop]$ vim yarn-site.xml

在该文件中编写如下配置：

<configuration>

	<!-- Reducer获取数据的方式 -->
	<property>
 		<name>yarn.nodemanager.aux-services</name>
 		<value>mapreduce_shuffle</value>
	</property>

	<!-- 指定YARN的ResourceManager的地址 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop113</value>
	</property>
	<!-- 日志聚集功能使能 -->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>

	<!-- 日志保留时间设置7天 -->
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
	

</configuration>

d、MapReduce配置文件
配置mapred-env.sh

在该文件中编写如下配置：

export JAVA_HOME=/opt/module/jdk1.8.0_144

配置mapred-site.xml

[hadoop@hadoop112 hadoop]$ vim mapred-site.xml

在该文件中编写如下配置：

<configuration>
		<!-- 指定MR运行在YARN上 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<!-- 历史服务器端地址 -->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>hadoop113:10020</value>
	</property>

	<!-- 历史服务器web端地址 -->
	<property>
    		<name>mapreduce.jobhistory.webapp.address</name>
    		<value>hadoop113:19888</value>
	</property>


</configuration>

e、配置slave文件

[hadoop@hadoop112 hadoop]$ vi slaves

在该文件中编写如下配置：

hadoop112
hadoop113
hadoop114

2）在集群上分发配置好的Hadoop配置文件（分发到hadoop113、hadoop114）

  [hadoop@hadoop112 hadoop]$ scp -r /opt/module/hadoop-2.7.2 hadoop@hadoop113:/opt/module/
  [hadoop@hadoop112 hadoop]$ scp -r /opt/module/hadoop-2.7.2 hadoop@hadoop114:/opt/module/

3）在/etc/profile下配置hadoop环境变量

注：次操作分别在hadoop112、hadoop113、hadoop114上执行

[hadoop@hadoop112 hadoop]$ vim /etc/profile

在该文件中编写如下配置：

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

使用改动生效命令(原因改动环境变量后必须生效一下，不生效相当于没有配置)：

[hadoop@hadoop112 software]$ source /etc/profile

4)在hadoop112上格式化namenode

[hadoop@hadoop112 hadoop]$ hadoop namenode -format

5)启动集群

在hadoop112上启动hdfs和yarn

[hadoop@hadoop112 hadoop]$ start-dfs.sh
[hadoop@hadoop112 hadoop]$ start-yarn.sh

6）输入jsp分别在hadoop112、hadoop113、hadoop114上查看进程

在hadoop112上：

[hadoop@hadoop112 hadoop]$ jps
3136 DataNode
3036 ResourceManager
3589 Jps
2990 NameNode
3423 NodeManager
[hadoop@hadoop112 hadoop]$

在hadoop113上：

[hadoop@hadoop113 ~]$ jps
3155 NodeManager
3527 Jps
2911 DataNode
[hadoop@hadoop113 ~]$

在hadoop114上：

[hadoop@hadoop114 opt]$ jps
3056 DataNode
3459 Jps
3146 SecondaryNameNode
3263 NodeManager
[hadoop@hadoop114 opt]$

7）web页面查看

输入地址：http://192.168.1.112:50070
页面显示如下图：
在这里插入图片描述

卡列宁的微笑66
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
部署全分布模式Hadoop集群 实验报告
04-18
部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 4. 理解为何需要配置 SSH 免密登录，掌握 Linux 环境下 SSH 的安装、免密登录的配置。 5. 熟练掌握在 Linux 环境下如何部署全分布模式 Hadoop 集群。 二、实验环境 本实验所需的软硬件环境包括 PC、VMware Workstation Pro、CentOS 安装包、Oracle JDK 安装包、Hadoop 安装包。 三、实验内容 1. 规划部署。 2. 准备机器。 3. 准备软件环境：配置静态 IP；修改主机名；编辑域名映射；安装和配置 Java；安装和 配置 SSH 免密登录。 4. 获取和安装 Hadoop。 5. 配置全分布模式 Hadoop 集群。 6. 关闭防火墙。 7. 格式化文件系统。 8. 启动和验证 Hadoop。 9. 关闭 Hadoop。
Hadoop完全分布式集群搭建（超详细）
qq_52868045的博客
11-22 5278
hadoop完全分布式，超详细的部署步骤。
Hadoop完全分布式搭建（超详细，傻瓜式安装）_hadoop完全分布式集群搭建
最新发布
afagagagaa的博客
05-06 510
输入代码后根据提示输入yes或者密码。
搭建Hadoop分布式集群的详细教程
热门推荐
程序员小木的博客
03-26 2万+
本文包括VMware创建配置虚拟机的基本方法，Centos的安装与配置，Hadoop集群安装与配置方法
【Hadoop】完全分布式集群搭建
你不来，再美的天地，都狼藉 ~
03-23 6994
一学就会，Hadoop完全分布式（集群）搭建
Hadoop分布式集群搭建完整版（持续更新中）
mmdewhite的博客
11-09 2472
Hadoop集群的搭建，从零到一
Hadoop分布式集群的搭建的方法步骤
10-16
主要介绍了Hadoop分布式集群的搭建的方法步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Hadoop分布式集群搭建所需安装包资源
09-01
总结一下，本资源包提供了搭建Hadoop分布式集群所需的两个基础组件：JDK 8和Hadoop 2.7.5。在实际操作中，你需要在每个节点上安装JDK，配置Hadoop环境，调整相关配置文件以适应你的集群需求，最后启动服务，确保集群...
Hadoop分布式环境搭建详细步骤.docx
08-18
本文档提供了详细的步骤来指导完成Hadoop分布式环境的搭建过程。从DNS设置、SSH配置、JDK安装到最终的Hadoop配置，每一步都至关重要。通过遵循这些步骤，可以成功搭建一个稳定可靠的Hadoop集群，为大数据处理提供...
Hadoop分布式集群搭建.pdf
12-12
《Hadoop分布式集群搭建》 在大数据处理领域，Hadoop是一个关键的开源框架，它提供了在分布式计算环境中存储和处理海量数据的能力。本教程将详细阐述如何在多台机器上搭建一个Hadoop分布式集群。 首先，搭建Hadoop...
超详细的hadoop完全分布式集群的搭建
programmer_trip的博客
06-05 3989
HDFS (hadoop distributed file system) : hadoop分布式文件系统 环境: 这是学习使用的,因为用虚拟机,通过root用户进行搭建 一.创建一个虚拟机 had01 ,网络连接方式均为NAT模式 搭建步骤: 首先创建一个hdp01
一文快速学会hadoop完全分布式集群搭建，很详细
wish_you_luck的博客
11-20 5249
hadoop的启动模式有三种，一个是本地模式，一个是伪分布式模式，还有一个是集群模式。为了学习hadoop，这里需要搭建一个完全分布式的集群。希望你先把准备工作给看一下，因为我们的配置都是前后一致的。本文因为想让大家学习一下集群分发脚本，所以在模板虚拟机里面少放了很多东西，以后会写一个快速搭建集群的教程。在下一大点，我们用了一个分发脚本。在使用分发脚本传输文件时，必不可少的一项流程是登录到目标机器,也就是要输入密码(可以先试一试第五点的集群分发脚本来体会为什么要设置ssh免密登录)，
Hadoop完全分布式集群搭建
qq_64451048的博客
04-13 2109
Hadoop完全分布式集群搭建
【教程】Hadoop完全分布式环境搭建全过程
m0_51226527的博客
02-16 5335
Hadoop完全分布式环境搭建全过程详细讲解 集群服务器：hadoop102、hadoop103和hadoop104 文末提供相关资源下载链接
Hadoop集群完全分布式搭建
qq_52884581的博客
09-29 4217
hadoop集群分布式的搭建
Hadoop完全分布式搭建教程（完整版）
小赵同学€的博客
03-19 4957
Hadoop完全分布式搭建流程（完整版）适合初学者参考！！！ 基于Linux的大数据Hadoop集群搭建！
大数据导论实验一：搭建Hadoop集群
weixin_47060391的博客
12-27 2408
搭建Hadoop集群，要求至少是3个节点的真分布式集群系统，包含1个NameNode，两个DataNode。
Hadoop完全分布集群搭建及高可用搭建
L2385766210的博客
10-23 1184
配置文件路径在hadoop中etc文件夹。修改core-site.xml文件。修改mapred-site.xml。修改mapred-stie.xml。修改yarn-site.xml文件。6、格式化ZKFC，启动ZKFC。修改hadoop-env.sh。修改hdfs-site.xml。修改yarn-site.xml。修改core-site.xml。修改hdfs-site.xml。4、启动JournalNode。8、启动副节点namenode。5、格式化namenode。7、启动namenode。
分布式集群——搭建Hadoop环境以及相关的Hadoop介绍
张小鱼的博客
08-31 2561
本文主要介绍hadoop的相关概念以及在Linux上面配置Hadoop的具体操作。镜像文件实际是存放的目录结构、文件属性等相关信息，是NameNode中关于 元数据的镜像。它是在NameNode启动时对整个文件系统的快照。edits：编辑日志文件,记录对文件或者目录的修改信息，比如删除目录，修改文件等信 息。编辑日志一般命名规则是“edits_*”，它在NameNode启动后，记录对文件系统的改动 序列。
hadoop分布式集群搭建
07-12
这是一个基本的Hadoop分布式集群搭建过程，你可以根据自己的需求进行进一步的配置和调优。还有其他一些配置文件和命令可以帮助你管理和监控Hadoop集群，你可以查阅Hadoop官方文档来获取更多详细信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值