Hadoop集群的搭建 完结

最新推荐文章于 2023-07-26 00:52:14 发布
最新推荐文章于 2023-07-26 00:52:14 发布
阅读量162 收藏 1
点赞数 1
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_49834705/article/details/110393911
版权

1. 集群环境准备

集群模式主要用于生产环境部署，需要多台主机，并且这些主机之间可以相互访问，我们在之前搭建好基础环境的三台虚拟机上进行Hadoop的搭建。

1.1.1集群简介:

HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。

HDFS集群负责海量数据的存储，集群中的角色主要有：
NameNode、DataNode、SecondaryNameNode.

YARN集群负责海量数据运算时的资源调度，集群中的角色主要有：
ResourceManager、NodeManager.

那mapreduce是什么呢？它其实是一个分布式运算编程框架，是应用程序开发包，由用户按照编程规范进行程序开发，后打包运行在HDFS集群上，并且受到YARN集群的资源调度管理.

1.1.2 集群的3中部署方式

1、Standalone mode（独立模式）
独立模式又称为单机模式，仅1个机器运行1个java进程，主要用于调试。

2、Pseudo-Distributed mode（伪分布式模式）
伪分布模式也是在1个机器上运行HDFS的NameNode和DataNode、YARN的 ResourceManger和NodeManager，但分别启动单独的java进程，主要用于调试。

3、Cluster mode（群集模式）-单节点模式-高可用HA模式
集群模式主要用于生产环境部署。会使用N台主机组成一个Hadoop集群。这种部署模式下，主节点和从节点会分开部署在不同的机器上。

1.1.3 hadoop重新编译

由于appache给出的hadoop的安装包没有提供带C程序访问的接口，所以我们在使用本地库（本地库可以用来做压缩，以及支持C程序等等）的时候就会出问题,需要对Hadoop源码包进行重新编译,本次我用的是已经编译好的了.

2. 开始部署:

其实就是Hadoop配置文件的修改. 般在主节点进行修改，完毕后scp下发给其他各
个从节点机器。
我所有的操作都是在第一台主机上执行的

上传 hadoop包到 /export/software(自己创建的)下
解压到 /export/server(自己创建的)目录下

在这里插入图片描述
解压后要知道的几个目录：

sbin
	管理命令脚本存放目录
etc/hadoop
	配置文件目录
share/hadoop/mapreduce
	官方提供的MapReduce案例

文件中设置的是Hadoop运行时需要的环境变量。JAVA_HOME是必须设置的，即使我们当前的系统中设置了JAVA_HOME，它也是不认识的，因为Hadoop即使是在本机上执行，它也是把当前的执行环境当成远程服务器。

1、配置:

cd  /export/server/hadoop-2.7.5/etc/hadoop
vim  hadoop-env.sh
添加以下内容:
export JAVA_HOME=/export/server/jdk1.8.0_241

2 core-site.xml

hadoop的核心配置文件，有默认的配置项core-default.xml。
core-default.xml与core-site.xml的功能是一样的，如果在core-site.xml里没有配置的属性，则会自动会获取core-default.xml里的相同属性的值。
1、配置
在该文件中的<configuration>标签中添加以下配置,
<configuration>
  在这里添加配置
</configuration>

cd  /export/server/hadoop-2.7.5/etc/hadoop
vim  core-site.xml
配置内容如下:

<!-- 用于设置Hadoop的文件系统，由URI指定 -->
	 <property>
		    <name>fs.defaultFS</name>
		    <value>hdfs://afu01:8020</value>
	 </property>
<!-- 配置Hadoop存储数据目录,默认/tmp/hadoop-${user.name} -->
	 <property>
		   <name>hadoop.tmp.dir</name>
		   <value>/export/server/hadoop-2.7.5/hadoopDatas/tempDatas</value>
	</property>

	<!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
	 <property>
		   <name>io.file.buffer.size</name>
		   <value>4096</value>
	 </property>

	<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
	 <property>
		   <name>fs.trash.interval</name>
		   <value>10080</value>
	 </property>
  1. hdfs-site.xml :
    HDFS的核心配置文件，主要配置HDFS相关参数，有默认的配置项hdfs-default.xml。
    hdfs-default.xml与hdfs-site.xml的功能是一样的，如果在hdfs-site.xml里没有配置的属性，则会自动会获取hdfs-default.xml里的相同属性的值。
2、配置
在该文件中的<configuration>标签中添加以下配置,
<configuration>
  在这里添加配置
</configuration>
cd  /export/server/hadoop-2.7.5/etc/hadoop
vim  hdfs-site.xml

配置一下内容
<!-- 指定SecondaryNameNode的主机和端口 -->
<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>afu02:50090</value>
</property>
<!-- 指定namenode的页面访问地址和端口 -->
<property>
	<name>dfs.namenode.http-address</name>
	<value>node1:50070</value>
</property>
<!-- 指定namenode元数据的存放位置 -->
<property>
	<name>dfs.namenode.name.dir</name>
	<value>file:///export/server/hadoop-2.7.5/hadoopDatas/namenodeDatas</value>
</property>
<!--  定义datanode数据存储的节点位置 -->
<property>
	<name>dfs.datanode.data.dir</name>
	<value>file:///export/server/hadoop-2.7.5/hadoopDatas/datanodeDatas</value>
</property>	
<!-- 定义namenode的edits文件存放路径 -->
<property>
	<name>dfs.namenode.edits.dir</name>
	<value>file:///export/server/hadoop-2.7.5/hadoopDatas/nn/edits</value>
</property>

<!-- 配置检查点目录 -->
<property>
	<name>dfs.namenode.checkpoint.dir</name>
	<value>file:///export/server/hadoop-2.7.5/hadoopDatas/snn/name</value>
</property>

<property>
	<name>dfs.namenode.checkpoint.edits.dir</name>
	<value>file:///export/server/hadoop-2.7.5/hadoopDatas/dfs/snn/edits</value>
</property>
<!-- 文件切片的副本个数-->
<property>
	<name>dfs.replication</name>
	<value>3</value>
</property>

<!-- 设置HDFS的文件权限-->
<property>
	<name>dfs.permissions</name>
	<value>false</value>
</property>
<!-- 设置一个文件切片的大小：128M-->
<property>
	<name>dfs.blocksize</name>
	<value>134217728</value>
</property>
<!-- 指定DataNode的节点配置文件 -->
<property>
		 <name> dfs.hosts </name>
		 <value>/export/server/hadoop-2.7.5/etc/hadoop/slaves </value>
</property>
  1. mapred-site.xml
    1、介绍
    MapReduce的核心配置文件，Hadoop默认只有个模板文件mapred-site.xml.template,需要使用该文件复制出来一份mapred-site.xml文件
cd  /export/server/hadoop-2.7.5/etc/hadoop
cp mapred-site.xml.template mapred-site.xml
在mapred-site.xml文件中的<configuration>标签中添加以下配置,
<configuration>
  在这里添加配置
</configuration>
vim  mapred-site.xml

配置一下内容:
	<!-- 指定分布式计算使用的框架是yarn -->
	<property>
			<name>mapreduce.framework.name</name>
			<value>yarn</value>
	</property>

	<!-- 开启MapReduce小任务模式 -->
	<property>
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	
	<!-- 设置历史任务的主机和端口 -->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>afu01:10020</value>
	</property>

	<!-- 设置网页访问历史任务的主机和端口 -->
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>afu01:19888</value>
	</property>

4 mapred-env.sh
在该文件中需要指定JAVA_HOME,将原文件的JAVA_HOME配置前边的注释去掉，然后按照以下方式修改:

cd  /export/server/hadoop-2.7.5/etc/hadoop
vim  mapred-env.sh

export JAVA_HOME=/export/server/jdk1.8.0_241

5 yarn-site.xml
YARN的核心配置文件,在该文件中的标签中添加以下配置,

<configuration>
  在这里添加配置
</configuration>
cd  /export/server/hadoop-2.7.5/etc/hadoop
vim  yarn-site.xml
添加以下配置：

<!-- 配置yarn主节点的位置 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>afu01</value>
	</property>

	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	
	<!-- 开启日志聚合功能 -->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<!-- 设置聚合日志在hdfs上的保存时间 -->
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
	<!-- 设置yarn集群的内存分配方案 -->
	<property>    
		<name>yarn.nodemanager.resource.memory-mb</name>    
		<value>2048</value>
	</property>
	<property>  
        	 <name>yarn.scheduler.minimum-allocation-mb</name>
         	<value>2048</value>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-pmem-ratio</name>
		<value>2.1</value>
	</property>

6 slaves:
slaves文件里面记录的是集群主机名。一般有以下两种作用：
一是：配合一键启动脚本如start-dfs.sh、stop-yarn.sh用来进行集群启动。这时候slaves文件里面的主机标记的就是从节点角色所在的机器。
二是：可以配合hdfs-site.xml里面dfs.hosts属性形成一种白名单机制。
dfs.hosts指定一个文件，其中包含允许连接到NameNode的主机列表。必须指定文件的完整路径名,那么所有在slaves中的主机才可以加入的集群中。如果值为空，则允许所有主机。

2、配置
cd  /export/server/hadoop-2.7.5/etc/hadoop
vim  slaves
删除slaves中的localhost，然后添加以下内容:

afu01
afu02
afu03
数据目录创建和文件分发

注意,以下所有操作都在afu01主机进行。

1、目录创建
创建Hadoop所需目录
mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/tempDatas
mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/namenodeDatas
mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/datanodeDatas
mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/nn/edits
mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/snn/name
mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/dfs/snn/edits

3、文件分发
将配置好的Hadoop目录分发到node2和node3主机。
 scp -r /export/server/hadoop-2.7.5/ afu02:/export/server/
 scp -r /export/server/hadoop-2.7.5/ afu03:/export/server/
配置Hadoop的环境变量

注意，三台机器都需要执行以下命令

vim  /etc/profile

添加以下内容:
export HADOOP_HOME=/export/server/hadoop-2.7.5
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

配置完成之后生效
source /etc/profile
启动集群

要启动Hadoop集群，需要启动HDFS和YARN两个集群。
注意：首次启动HDFS时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的HDFS在物理上还是不存在的。
在node1上执行格式化指令

hadoop namenode -format
脚本一键启动
启动HDFS
start-dfs.sh

启动Yarn
start-yarn.sh

启动历史任务服务进程
mr-jobhistory-daemon.sh start historyserver

一键启动:
启动HDFS和Yarn
	start-all.sh
启动历史任务
	mr-jobhistory-daemon.sh start historyserver

启动之后，使用jps命令查看相关服务是否启动，jps是显示Java相关的进程命令。

在这里插入图片描述

注意:如果在启动之后，有些服务没有启动成功，则需要查看启动日志，Hadoop的启动日志在每台主机的/export/server/hadoop-2.7.5/logs/目录，需要根据哪台主机的哪个服务启动情况去对应的主机上查看相应的日志，以下是afu01主机的日志目录.

在这里插入图片描述

集群的页面访问

查看NameNode页面地址(HDFS): http://192.168.88.161:50070/
在这里插入图片描述

查看Yarn集群页面地址: http://192.168.88.161:8088/cluster
在这里插入图片描述

查看MapReduce历史任务页面地址:
http://192.168.88.161:19888/jobhistory

在这里插入图片描述

最后Hadoop初次体验

创建 touch hadoop.txt
vim hadoop.txt 写入一点内容
	HDFS: 分布式文件系统
	MapReduce: 分布式计算系统
	Yarn: 分布式资源调度系统

#将hadoop.txt上传到HDFS的根目录
hadoop fs -put a.txt  /     # 后面跟一个 /  hadoop的根

HDFS 上查看:
在这里插入图片描述

LBJ_小松鼠
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
安装和配置hadoop2.7.4集群
ho_ll_ow的博客
09-18 973
安装和配置Hadoop2.7.4集群 首先将Windows上的两个压缩包上传到虚拟机的/opt/mysoft/ 下 第一步： 解压：tar -zxvf hadoop-2.7.4.tar.gz 重命名:mv hadoop-2.7.4 hadoop 第二步： cd /opt/mysoft/hadoop mkdir logs mkdir tmp mkdir -p tmp...
hadoop相关软件下载地址
m0_51679196的博客
08-28 1663
具体位置可能有所变更
hadoop集群搭建学习总结（一）
qq_39063243的博客
09-20 5159
Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAPREDUCE（分布式运算编程框架）：解决海量数据计算hadoop集群的搭建即为在集群中安装以上的3个组件。
Windows下安装hadoop2.7.4
生命不息，代码不止
12-05 2850
该压缩包是已经简化配置后的hadoop2.7.4下载地址文件分享 (weiyun.com)在系统变量中添加在path中添加把/etc/hadoop/ 下目录的相关配置文件都配置一遍，直接赋值下面内容即可①yarn-site.xml ②hdfs-site.xml ③core-site.xml 4、复制一份mapred-site.xml.template，并重命名为mapred-site.xml，修改里面的内容 选做：配置JAVA_HOME的路径变量到/etc/hadoop/hadoop-env.cmd 情况1
Hadoop集群的搭建（结束）——修改hadoop配置文件以及启动集群服务
热门推荐
小袁同学的博客
11-16 1万+
（1）修改 hadoop-env.sh 文件 （2）修改 yarn-env.sh 文件 （3）修改 core-site.xml 文件 （4）修改 hdfs-site.xml 文件 （5）修改 mapred-site.xml 文件 （6）修改 yarn-site.xml 文件 （7）修改 masters 文件 （8）修改 slaves 文件
hadoop集群搭建(超级详细)
10-11
在大数据领域，Hadoop是一个广泛使用的开源框架，用于存储和处理海量数据。本文将详细讲解如何搭建一个...这个超详细的教程覆盖了从零开始到集群搭建完成的全过程，按照步骤执行，可以轻松掌握Hadoop集群搭建技术。
详解搭建ubuntu版hadoop集群
09-15
【搭建Ubuntu版Hadoop集群详解】 在本文中，我们将详细阐述如何在Ubuntu 16.04环境下搭建Hadoop集群。Hadoop是一个开源的分布式计算框架，它允许处理和存储大量数据，尤其适合大数据分析。Ubuntu是Linux发行版中的...
hadoop集群搭建教程
03-07
在虚拟机上面搭建hdfs 集群亲测可用 记得 修改ip地址就行
基于centos的大数据hadoop集群搭建说明文档
10-30
【标题】：基于CentOS的大数据Hadoop集群搭建详解 【描述】：本教程专为初学者设计，详细阐述了如何手动搭建Hadoop集群，步骤详尽，易于理解。 【标签】：Hadoop集群搭建 【正文】： Hadoop是一个开源的分布式...
Hadoop集群搭建详细简明教程
05-16
本教程“Hadoop集群搭建详细简明教程”将带你逐步走进Hadoop的世界，了解并掌握如何构建一个高效稳定的Hadoop集群。 Hadoop是由Apache基金会开发的一个开源项目，其核心包括两个主要组件：Hadoop Distributed File ...
hadoop-2.7.4编译版本
11-02
hadoop2.7.4 linux编译版本 支持snappy。linnux部署无须编译
hadoop-2.7.4-with-windows
03-27
hadoop-2.7.4-with-windows, hadoop-2.7.4windows编译版
Hadoop 2.7.4 Windows 7 64位 编译bin（包含winutils.exe, hadoop.dll等）
08-17
为学习Hadoop亲手在Windows 7（64bit）编译
hadoop-2.7.4.tar.gz
09-07
本人亲自编译，windows系统编译hadoop源码比较麻烦，亲测有效
【Hadoop】Windows下安装Hadoop（手把手包成功安装）
最新发布
tttzzzqqq2018的博客
07-26 2万+
【实操】Windows下安装Hadoop（手把手包成功安装）
Hadoop中 常用端口说明和相关配置文件
向热爱自己一样，热爱这个世界。
03-28 2299
Hadoop中 常用端口说明和相关配置文件
详解Hadoop六个配置文件的作用
qq_31151125的博客
09-30 1万+
详解Hadoop六个配置文件的作用主要常用的文件夹六个配置文件的作用 etc/hadoopcore-site.xmlhdfs-site.xml额外知识点hadoop-env.shmapred-site.xmlyarn-site.xml 本文以apache的hadoop-2.7.5为列，主要讲解Hadoop目录下每个文件的作用 主要常用的文件夹 文件夹名称 作用 bin shell...
Hadoop配置文件
weixin_56587572的博客
04-21 186
一、基础环境 1.换源 cd /etc/yum.repos.d wget -O bigdata.repo http://172.16.47.240/bigdata/repofile/bigdata.repo wget -p http://49.232.221.239/scene.pkg yum clean all yum makecache 2.修改主机名 hostnamectl set-hostname master bash 3.关闭防火墙(停止、查看、开机不启动) systemctl stop fi
Hadoop-2.7.4 八节点分布式集群安装
FontTian的博客
09-10 1850
先感叹一下准备因为之前已经有安装经验了（虚拟机的三节点分布式，按过几次），再加上对Ubuntu还算比较熟悉中间也算少踩了不少坑。因为这次主要是老师要求所以，才打算再自己安装一次apche hadoop版本，其实现在我个人还是更支持CDH搭建大数据开发平台的，但是最近时间略紧，国庆节再弄吧。后来想着之前虚拟机和伪分布式练习语法已经足够了，这次要来就是直接来能工程运用的，于是安装八节点的Hadoop-2
Hadoop集群搭建全攻略
"Hadoop集群搭建教程" Hadoop是Apache软件基金会的一个开源分布式计算平台，它为处理和存储大规模数据提供了一种经济高效的方式。Hadoop的核心由两个主要组件构成：Hadoop分布式文件系统（HDFS）和MapReduce计算...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值