Hadoop 2.7.5集群安装

最新推荐文章于 2023-05-16 20:05:09 发布
最新推荐文章于 2023-05-16 20:05:09 发布
阅读量573 收藏 1
点赞数
分类专栏： Hdfs yarn mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gcxzflgl/article/details/106965434
版权
Hdfs 同时被 3 个专栏收录
2 篇文章 0 订阅
订阅专栏
yarn
1 篇文章 0 订阅
订阅专栏
mapreduce
1 篇文章 0 订阅
订阅专栏

目录

  1. Hadoop介绍
  2. Hadoop安装

Hadoop介绍

  1. Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。
  2. 2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。

——分布式文件系统（GFS），可用于处理海量网页的存储

——分布式计算框架MAPREDUCE，可用于处理海量网页的索引计算问题。

  1. Nutch的开发人员完成了相应的开源实现HDFS和MAPREDUCE，并从Nutch中剥离成为独立项目HADOOP，到2008年1月，HADOOP成为Apache顶级项目.

狭义上来说，hadoop就是单独指代hadoop这个软件，

  • HDFS ：分布式文件系统
  • MapReduce : 分布式计算系统
  • Yarn：分布式样集群资源管理

广义上来说，hadoop指代大数据的一个生态圈，包括很多其他的软件
在这里插入图片描述

1.x版本系列：hadoop版本当中的第二代开源版本，主要修复0.x版本的一些bug等

2.x版本系列：架构产生重大变化，引入了yarn平台等许多新特性

3.x版本系列: 加入多namenoode新特性

Hadoop三大发行版公司
  • 免费开源版本apache:

http://hadoop.apache.org/

优点：拥有全世界的开源贡献者，代码更新迭代版本比较快，

缺点：版本的升级，版本的维护，版本的兼容性，版本的补丁都可能考虑不太周到，

apache所有软件的下载地址（包括各种历史版本）：

http://archive.apache.org/dist/

  • 免费开源版本hortonWorks：

https://hortonworks.com/

hortonworks主要是雅虎主导Hadoop开发的副总裁，带领二十几个核心成员成立Hortonworks，核心产品软件HDP（ambari），HDF免费开源，并且提供一整套的web管理界面，供我们可以通过web界面管理我们的集群状态，web管理界面软件HDF网址（http://ambari.apache.org/）

  • 软件收费版本ClouderaManager:

https://www.cloudera.com/

cloudera主要是美国一家大数据公司在apache开源hadoop的版本上，通过自己公司内部的各种补丁，实现版本之间的稳定运行，大数据生态圈的各个版本的软件都提供了对应的版本，解决了版本的升级困难，版本兼容性等各种问题

1.x的版本架构模型介绍

在这里插入图片描述

文件系统核心模块：

NameNode集群当中的主节点，管理元数据(文件的大小，文件的位置，文件的权限)，主要用于管理集群当中的各种数据
secondaryNameNode主要能用于hadoop当中元数据信息的辅助管理
DataNode集群当中的从节点，主要用于存储集群当中的各种数据

数据计算核心模块：

JobTracker接收用户的计算请求任务，并分配任务给从节点
TaskTracker负责执行主节点JobTracker分配的任务
2.x的版本架构模型介绍

第一种：NameNode与ResourceManager单节点架构模型
在这里插入图片描述
文件系统核心模块：

NameNode集群当中的主节点，管理元数据(文件的大小，文件的位置，文件的权限)，主要用于管理集群当中的各种数据
secondaryNameNode主要能用于hadoop当中元数据信息的辅助管理
DataNode集群当中的从节点，主要用于存储集群当中的各种数据

数据计算核心模块：

ResourceManager接收用户的计算请求任务，并负责集群的资源分配
NodeManager负责执行主节点APPmaster分配的任务

第二种：NameNode单节点与ResourceManager高可用架构模型
在这里插入图片描述
文件系统核心模块：

NameNode集群当中的主节点，管理元数据(文件的大小，文件的位置，文件的权限)，主要用于管理集群当中的各种数据
secondaryNameNode主要能用于hadoop当中元数据信息的辅助管理
DataNode集群当中的从节点，主要用于存储集群当中的各种数据

数据计算核心模块：

ResourceManager接收用户的计算请求任务，并负责集群的资源分配，以及计算任务的划分，通过zookeeper实现ResourceManager的高可用
NodeManager负责执行主节点ResourceManager分配的任务

第三种：NameNode高可用与ResourceManager单节点架构模型
在这里插入图片描述
文件系统核心模块：

NameNode集群当中的主节点，主要用于管理集群当中的各种数据，其中nameNode可以有两个，形成高可用状态
DataNode集群当中的从节点，主要用于存储集群当中的各种数据
JournalNode文件系统元数据信息管理

数据计算核心模块：

ResourceManager接收用户的计算请求任务，并负责集群的资源分配，以及计算任务的划分
NodeManager负责执行主节点ResourceManager分配的任务

第四种：NameNode与ResourceManager高可用架构模型
在这里插入图片描述

文件系统核心模块：

NameNode集群当中的主节点，主要用于管理集群当中的各种数据，一般都是使用两个，实现HA高可用
JournalNode元数据信息管理进程，一般都是奇数个
DataNode从节点，用于数据的存储

数据计算核心模块：

ResourceManagerYarn平台的主节点，主要用于接收各种任务，通过两个，构建成高可用
NodeManagerYarn平台的从节点，主要用于处理ResourceManager分配的任务

Hadoop安装

安装之前需要JDK环境安装：
https://blog.csdn.net/gcxzflgl/article/details/106373435

提供一个支持snappy压缩的包
链接：https://pan.baidu.com/s/1Cu0gNA52B2SVa0lqAFjw9w
提取码：pltb

集群规划
服务器IPnode01node02node03
NameNodeY
SecondaryNameNodeY
dataNodeYYY
ResourceManagerY
NodeManagerYYY
安装过程：
第一步：上传apache hadoop包并解压
[root@node01 software]# tar -zxvf hadoop-2.7.5.tar.gz -C ../servers/
第二步：修改配置文件

再修改之前，我们用notepad++安装一个插件，方便配置文件编写

NppFTP插件安装

打开Notepad ++ —— 插件 —— 插件管理 —— 搜索NppFTP —— 安装重启

NppFTP使用：

插件 —— NppFTP —— show NppFtp window
在这里插入图片描述
在这里插入图片描述
选择close关闭
在这里插入图片描述
在这里插入图片描述

配置文件修改：

ctrl + s 保存 NppFTP 修改的文件

配置文件所在目录

cd  /export/servers/hadoop-2.7.5/etc/hadoop
core-site.xml
<configuration>
	<!--  指定集群的文件系统类型:分布式文件系统 -->
	<property>
		<name>fs.default.name</name>
		<value>hdfs://node01:8020</value>
	</property>
	<!--  指定临时文件存储目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.7.5/hadoopDatas/tempDatas</value>
	</property>
	<!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>

	<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
</configuration>
hdfs-site.xml
<configuration>
	<!-- 指定secondaryNameNode的访问地址和端口 -->
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>node01:50090</value>
	</property>

	<!-- 指定namenode的访问地址和端口 -->
	<property>
		<name>dfs.namenode.http-address</name>
		<value>node01:50070</value>
	</property>
	<!-- 指定namenode元数据的存放位置 -->
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas,file:///export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2</value>
	</property>
	<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas,file:///export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2</value>
	</property>
	
	<!-- 指定namenode日志文件的存放目录 -->
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/nn/edits</value>
	</property>
	

	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits</value>
	</property>
	<!-- 文件切片的副本个数-->
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>

	<!-- 设置HDFS的文件权限-->
	<property>
		<name>dfs.permissions</name>
		<value>true</value>
	</property>

	<!-- 设置一个文件切片的大小：128M-->
	<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
</configuration>
hadoop-env.sh
export JAVA_HOME=/export/servers/jdk1.8.0_141
mapred-site.xml

默认值mapre-site-template.xml 更新名字即可

cp mapred-site.xml.template mapred-site.xml

<configuration>

	<!-- 开启MapReduce小任务模式 -->
	<property>
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	
	<!-- 设置历史任务的主机和端口 -->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node01:10020</value>
	</property>

	<!-- 设置网页访问历史任务的主机和端口 -->
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node01:19888</value>
	</property>
	
	
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

</configuration>
yarn-site.xml
<configuration>

	<!-- 配置yarn主节点的位置 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node01</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	
	<!-- 开启日志聚合功能 -->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<!-- 设置聚合日志在hdfs上的保存时间 -->
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
	<!-- 设置yarn集群的内存分配方案 -->
	<property>    
		<name>yarn.nodemanager.resource.memory-mb</name>    
		<value>20480</value>
	</property>

	<property>  
		<name>yarn.scheduler.minimum-allocation-mb</name>
		<value>2048</value>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-pmem-ratio</name>
		<value>2.1</value>
	</property>

</configuration>
mapred-env.sh
export JAVA_HOME=/export/servers/jdk1.8.0_141
slaves

datanode节点

node01
node02
node03
配置文件所需目录
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/nn/edits
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/snn/name
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits




[root@node01 hadoopDatas]# ll
总用量 0
drwxr-xr-x. 2 root root  6 6月  26 08:47 datanodeDatas
drwxr-xr-x. 2 root root  6 6月  26 08:47 datanodeDatas2
drwxr-xr-x. 3 root root 17 6月  26 08:47 dfs
drwxr-xr-x. 2 root root  6 6月  26 08:47 namenodeDatas
drwxr-xr-x. 2 root root  6 6月  26 08:47 namenodeDatas2
drwxr-xr-x. 3 root root 19 6月  26 08:47 nn
drwxr-xr-x. 3 root root 18 6月  26 08:47 snn
drwxr-xr-x. 2 root root  6 6月  26 08:47 tempDatas
[root@node01 hadoopDatas]#
第三步：分发到其他机器
cd  /export/servers/
scp -r hadoop-2.7.5 node02:$PWD
scp -r hadoop-2.7.5 node03:$PWD
第四步: 设置环境变量
vim  /etc/profile

export HADOOP_HOME=/export/servers/hadoop-2.7.5
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

#配置文件生效
source /etc/profile
第五步：启动集群

要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个模块。
注意： 首次启动 HDFS 时，必须对其进行格式化操作。 本质上是一些清理和准备工作，因为此时的 HDFS 在物理上还是不存在的。

hdfs namenode -format 或者 hadoop namenode –format

在这里插入图片描述
看到successfully 代表格式化成功
执行以下命令：

cd  /export/servers/hadoop-2.7.5/
sbin/start-dfs.sh
sbin/start-yarn.sh
sbin/mr-jobhistory-daemon.sh start historyserver

node01进程

[root@node01 sbin]# jps
19282 SecondaryNameNode
19112 DataNode
19880 Jps
18985 NameNode
19433 ResourceManager
19547 NodeManager
19836 JobHistoryServer
[root@node01 sbin]#

node02进程

[root@node02 ~]# 
[root@node02 ~]# jps
18822 DataNode
18934 NodeManager
19038 Jps
[root@node02 ~]#

node03进程

[root@node03 ~]# jps
19028 Jps
18922 NodeManager
18811 DataNode
[root@node03 ~]#

三个端口查看界面

http://node01:50070/explorer.html#/ 查看hdfs
在这里插入图片描述
http://node01:8088/cluster 查看yarn集群
在这里插入图片描述
http://node01:19888/jobhistory 查看历史完成的任务
在这里插入图片描述

至此，单节点namenode、resourcemanager集群搭建完毕！

待烟火清凉
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
AWS云上部署Hadoop
weixin_50966238的博客
07-16 1106
AWS云上部署Hadoop
Hadoop集群安装
Jasper的博客
07-27 244
Hadoop集群安装 机器 如果只有3台主机，可以按照如下规划来部署安装 IP server hadoop1（172.16.185.68） zookeeper journalnode namenode zkfc resourcemanager datanode hadoop2（172.16.185.69） zookeeper ...
hadoop-aws-2.7.3.jar
10-13
hadoop-aws-2.7.3.jar，hadoop，spark查询oss对象存储包
Hadoop二次开发环境搭建
凉茶铺的博客
10-11 692
介绍了hadoop如何进行二次开发
hadoop2.7.5分布式集群安装
小宇的博客
05-16 730
三台虚拟机 192.168.79.132 master 192.168.79.133 slave1 192.168.79.134 slave2 1.修改主机名 hostnamectl set-hostname (name) 2.配置主机的映射(每台都要设...
Spark3 读写 S3 Parquet, Hive, Hudi
L, there!
05-17 4569
Spark 读 S3 Parquet 写入 Hudi 表 目录 Spark 读 S3 Parquet 写入 Hudi 表 参考 关于S3，S3N和S3A的区别与联系 Spark 读写 S3 Parquet 文件 测试代码 pom.xml 配置文件 EMR Spark任务提交 spark-shell spark-submit Spark 读写 Hudi 本地测试 代码 集群上测试 spark-shell spark-sql Spark-submit Hive 中测
Hadoop2.4.1集群安装
小叶博客
11-18 291
1.准备Linux环境     1.0先将虚拟机的网络模式选为NAT     1.1修改主机名         vi /etc/sysconfig/network         NETWORKING=yes         HOSTNAME=itcast    ###     1.2修改IP         两种方式：         第一种：通过Linu
hadoop 2.7.5 eclipse jar
02-13
Hadoop 2.7.5 是一个开源框架，主要用于分布式存储和处理大数据。它由Apache Software Foundation维护，是大数据处理领域的重要工具。Eclipse是一款广泛使用的Java集成开发环境（IDE），支持各种插件来增强其功能。...
hadoop-2.7.5.tar.gz原始安装包
11-07
安装Hadoop 2.7.5时，通常需要进行以下几个步骤： 1. 解压`hadoop-2.7.5.tar.gz`到一个合适的目录。 2. 配置环境变量，如`HADOOP_HOME`，并更新`PATH`以包含Hadoop的可执行文件路径。 3. 根据集群需求，编辑配置文件...
Hadoop 2.7.5 Windows 7 64位 编译bin（包含winutils.exe, hadoop.dll等）
12-22
它是Hadoop在Windows环境中运行所必需的，因为它提供了与Linux上`hadoop`命令类似的功能，如设置HDFS的权限和管理Hadoop集群。 `hadoop.dll`是Hadoop运行时库，它包含了一些Hadoop在Windows系统上运行所需的动态...
hadoop-2.7.5.tar.gz
04-21
Hadoop-2.7.5.tar.gz，官方包下载速度实在是太慢了，所以这里上传一份资源。
spark/hadoop读取s3所需要的外部依赖包
09-06
aws-java-sdk-1.7.4.jar hadoop-aws-2.7.2.jar 引入代码即可在读写中国区亚马逊s3
hadoop-aws:Hadoop S3文件系统的分支可与AWS开发工具包1.10.x一起使用
05-18
hadoop-aws Hadoop S3文件系统的分支可与AWS开发工具包1.10.x一起使用 发展 要发布最新消息： git tag v<VERSION> git push --tags set +publish
hadoop-2.7.5
04-11
安装Hadoop 2.7.5的步骤大致如下： 1. 下载Hadoop 2.7.5的压缩包，并解压到本地文件夹。 2. 配置环境变量：设置HADOOP_HOME为解压后的目录，将%HADOOP_HOME%\bin添加到PATH环境变量中，这样就可以在命令行中直接...
Hadoop2.7.5安装及环境部署
weixin_47749831的博客
11-10 558
Hadoop2.7.5安装及环境部署 将压缩包（可私聊我拿）解压到目录，放在 D:\bigdata\hadoop-2.7.5 目录下。配置 Hadoop 环境变量。 1、 新建HADOOP_HOME ;变量值设为D:\bigdata\hadoop-2.7.5（视自己解压路径而定） 2、在"path"后添加%HADOOP_HOME%\bin 修改 hadoop 配置文件 1、修改“D:\bigdata\hadoop-2.7.5\etc\hadoop”下的 core-site.xml 文件（添加到末尾）
Hadoop 集群中使用 S3(对象存储)文件系统
cz124560的博客
06-15 4889
Hadoop 自带 S3 依赖，位置如下： 但是这些依赖包默认不在 hadoop classpath 下面。可以使用以下两种方法引入这两个包： 修改hadoop的core-site.xml文件： s3的配置模板（记得修改成自己的 secret key 与 access key ） 更改完毕并重启集群后 测试hdfs dfs -ls s3a://hive0614/ 等命令操作 S3 中的文件。 目前HDFS Client已经可以看到S3文件了。 如果需要yarn和MapReducer 需要修改如下文件 hdf
Linux环境安装Hadoop单机版
Flychuer的专栏
03-20 3390
一、安装版本 hadoop-2.7.5 下载地址：Index of /dist/hadoop/core (apache.org) 二、准备工作 1、安装jdk 8及以上版本 2、修改主机名称（可以不修改） 3、关闭防火墙 三、安装 1、解压到/opt目录下 tar -zxvf hadoop-2.7.5.tar.gz -C /opt/ 2、配置hadoop环境变量 vim /etc/profile export HADOOP_HOME=/opt/hadoop-2.7.5 e
Ambari2.7.5集群搭建详细流程
不以物喜的博客
02-17 2061
本文基于本地虚拟机从零开始搭建ambari集群。
windows安装hadoop2.7.5
最新发布
08-18
- *1* [在windows系统中配置Hadoop2.7.5运行环境](https://download.csdn.net/download/weixin_47878012/85075777)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值