Hadoop发展历史和Hadoop环境搭建

最新推荐文章于 2020-10-07 11:39:30 发布
最新推荐文章于 2020-10-07 11:39:30 发布
阅读量339 收藏
点赞数
分类专栏： 学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Tracy19970428/article/details/106310361
版权

Hadoop发展历史和环境搭建

Hadoop发展历史

Hadoop的起源于发展

  1. Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。
  2. 2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。
    ——分布式文件系统（GFS），可用于处理海量网页的存储
    ——分布式计算框架MAPREDUCE，可用于处理海量网页的索引计算问题。
  3. Nutch的开发人员完成了相应的开源实现HDFS和MAPREDUCE，并从Nutch中剥离成为独立项目HADOOP，到2008年1月，HADOOP成为Apache顶级项目(同年，cloudera公司成立)，迎来了它的快速发展期。
    狭义上来说，hadoop就是单独指代hadoop这个软件
    广义上来说，hadoop指代大数据的一个生态圈，包括很多其他的软件
    在这里插入图片描述

Hadoop历史版本介绍

0.x系列版本：hadoop当中最早的一个开源版本，在此基础上演变而来的1.x以及2.x的版本
1.x版本系列：hadoop版本当中的第二代开源版本，主要修复0.x版本的一些bug等
2.x版本系列：架构产生重大变化，引入了yarn平台等许多新特性
在这里插入图片描述

hadoop三大公司发型版本介绍

  • 免费开源版本apache：
    http://hadoop.apache.org/
    优点：拥有全世界的开源贡献者，代码更新迭代版本比较快，
    缺点：版本的升级，版本的维护，版本的兼容性，版本的补丁都可能考虑不太周到，学习可以用，实际生产工作环境尽量不要使用
    apache所有软件的下载地址（包括各种历史版本）：
    http://archive.apache.org/dist/

  • 免费开源版本hortonWorks：
    https://hortonworks.com/
    hortonworks主要是雅虎主导Hadoop开发的副总裁，带领二十几个核心成员成立Hortonworks，核心产品软件HDP（ambari），HDF免费开源，并且提供一整套的web管理界面，供我们可以通过web界面管理我们的集群状态，web管理界面软件HDF网址（http://ambari.apache.org/）

  • 软件收费版本ClouderaManager:
    https://www.cloudera.com/
    cloudera主要是美国一家大数据公司在apache开源hadoop的版本上，通过自己公司内部的各种补丁，实现版本之间的稳定运行，大数据生态圈的各个版本的软件都提供了对应的版本，解决了版本的升级困难，版本兼容性等各种问题，生产环境强烈推荐使用

hadoop的架构模型

1.x的版本架构模型介绍

在这里插入图片描述
文件系统核心模块：
NameNode：集群当中的主节点，主要用于管理集群当中的各种数据
secondaryNameNode：主要能用于hadoop当中元数据信息的辅助管理
DataNode：集群当中的从节点，主要用于存储集群当中的各种数据
数据计算核心模块：
JobTracker：接收用户的计算请求任务，并分配任务给从节点
TaskTracker：负责执行主节点JobTracker分配的任务

2.x的版本架构模型介绍
  • 第一种：NameNode与ResourceManager单节点架构模型
    在这里插入图片描述
    文件系统核心模块：
    NameNode：集群当中的主节点，主要用于管理集群当中的各种元数据
    secondaryNameNode：主要能用于hadoop当中元数据信息的辅助管理
    DataNode：集群当中的从节点，主要用于存储集群当中的各种数据
    数据计算核心模块：
    ResourceManager：接收用户的计算请求任务，并负责集群的资源分配
    NodeManager：负责执行主节点APPmaster分配的任务
  • 第二种：NameNode单节点与ResourceManager高可用架构模型
    在这里插入图片描述
    文件系统核心模块：
    NameNode：集群当中的主节点，主要用于管理集群当中的各种数据
    secondaryNameNode：主要能用于hadoop当中元数据信息的辅助管理
    DataNode：集群当中的从节点，主要用于存储集群当中的各种数据
    数据计算核心模块：
    ResourceManager：接收用户的计算请求任务，并负责集群的资源分配，以及计算任务的划分，通过zookeeper实现ResourceManager的高可用
    NodeManager：负责执行主节点ResourceManager分配的任务
  • 第三种：NameNode高可用与ResourceManager单节点架构模型
    *在这里插入图片描述
    文件系统核心模块：
    NameNode：集群当中的主节点，主要用于管理集群当中的各种数据，其中nameNode可以有两个，形成高可用状态
    DataNode：集群当中的从节点，主要用于存储集群当中的各种数据
    JournalNode：文件系统元数据信息管理
    数据计算核心模块：
    ResourceManager：接收用户的计算请求任务，并负责集群的资源分配，以及计算任务的划分
    NodeManager：负责执行主节点ResourceManager分配的任务
  • 第四种：NameNode与ResourceManager高可用架构模型
    在这里插入图片描述
    文件系统核心模块：
    NameNode：集群当中的主节点，主要用于管理集群当中的各种数据，一般都是使用两个，实现HA高可用
    JournalNode：元数据信息管理进程，一般都是奇数个
    DataNode：从节点，用于数据的存储
    数据计算核心模块：
    ResourceManager：Yarn平台的主节点，主要用于接收各种任务，通过两个，构建成高可用
    NodeManager：Yarn平台的从节点，主要用于处理ResourceManager分配的任务

Hadoop环境搭建

第一步：下载apache hadoop并上传到服务器

下载链接：
http://archive.apache.org/dist/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz
解压命令：

cd /export/softwares
tar -zxvf hadoop-2.7.5.tar.gz -C ../servers/

第二步：修改配置文件

修改core-site.xml

第一台机器执行以下命令

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim  core-site.xml

<configuration>
	<property>
		<name>fs.default.name</name>
		<value>hdfs://192.168.52.100:8020</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.7.5/hadoopDatas/tempDatas</value>
	</property>
	<!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>

	<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
</configuration>
修改hdfs-site.xml

第一台机器执行以下命令

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim hdfs-site.xml

<configuration>
	<!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割   --> 
	<!--   集群动态上下线 
	<property>
		<name>dfs.hosts</name>
		<value>/export/servers/hadoop-2.7.4/etc/hadoop/accept_host</value>
	</property>
	
	<property>
		<name>dfs.hosts.exclude</name>
		<value>/export/servers/hadoop-2.7.4/etc/hadoop/deny_host</value>
	</property>
	 -->
	 
	 <property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>node01:50090</value>
	</property>

	<property>
		<name>dfs.namenode.http-address</name>
		<value>node01:50070</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas,file:///export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2</value>
	</property>
	<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas,file:///export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2</value>
	</property>
	
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/nn/edits</value>
	</property>
	

	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits</value>
	</property>

	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>

	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>

<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
</configuration>
修改hadoop-env.sh

第一台机器执行以下命令

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim  hadoop-env.sh
vim  hadoop-env.sh

export JAVA_HOME=/export/servers/jdk1.8.0_141
修改mapred-site.xml

第一台机器执行以下命令

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim  mapred-site.xml

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

	<property>
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node01:10020</value>
	</property>

	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node01:19888</value>
	</property>
</configuration>
修改yarn-site.xml

第一台机器执行以下命令

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim  yarn-site.xml

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node01</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
</configuration>
修改slaves

第一台机器执行以下命令

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim   slaves

node01

第三步：启动集群

要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个模块。
注意： 首次启动 HDFS 时，必须对其进行格式化操作。 本质上是一些清理和准备工作，因为此时的 HDFS 在物理上还是不存在的。
启动命令：

  • 创建数据存放文件夹
    第一台机器执行以下命令
cd  /export/servers/hadoop-2.7.5
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/nn/edits
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/snn/name
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits
  • 准备启动
    第一台机器执行以下命令
cd  /export/servers/hadoop-2.7.5/
bin/hdfs namenode -format
sbin/start-dfs.sh
sbin/start-yarn.sh
1
  • 三个端口查看界面
    http://node01:50070/explorer.html#/ 查看hdfs
    http://node01:8088/cluster 查看yarn集群
    http://node01:19888/jobhistory 查看历史完成的任务
smalllllerr
关注
专栏目录
JobTracker的概述
Xlucas的博客
09-08 5632
JobTracker涉及的功能包括作业管理、状态监控、任务调度器等， JobTracker主要包含的2个功能：资源管理和作业控制。 每一个应用程序表示一个作业，每个作业又被进一步分成多个任务，而JobTracker的作业控制模块则负责作业的分解和状态监控。 1、JobTracker的概述： 1、1作业控制： JobTracker在其内部以“三层多叉树”的方式描述和跟踪每个作业的运行状态，作
Hadoop环境搭建之zookeeper安装
Imflash的博客
09-08 1383
Hadoop环境搭建 一、预备知识 1.大数据导论 1.1 大数据概念 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB...
Hadoop学习笔记-Hadoop的发展历史
soongxin的博客
05-31 566
Hadoop大事记 三驾马车 大数据的产生和发展离不开谷歌的三篇论文，Google File System(GFS)、MapReduce和BigTable。其中前两篇论文就孵化出了Haoop的两大基本组件——HDFS和MapReduce编程模型。在谷歌发布GFS的时候，该文件系统已经稳定的运行在上千台机器上了。这三篇论文如今被称为大数据的三驾马车。 会飞的大象 2004年，Doug Cutting开始基于Google的三篇论文开发Hadoop，Hadoop是一个虚构的名字，来源是Doug Cuttin.
Hadoop之JobTracker，TaskTracker，Scheduler
写博客只为学习
03-07 221
DataNode 和NameNode 是针对数据存放来而言的 JobTracker和TaskTracker是对于MapReduce执行而言的 [size=x-large][b]一：JobTracker[/b][/size] JobTracker协作作业的运行： [color=red][b]负责调度分配每一个子任务task运行于TaskTracker上，如果发现有失败的task就...
Hadoop到底能做什么？怎么用hadoop？
lykangjia的专栏
02-10 3531
hadoop是什么？ (1)Hadoop是一个开源的框架，可编写和运行分不是应用处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS（文件系统，数据存储技术相关）+ Mapreduce（数据处理），Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能，具有更灵活的处理能力，不管任
通俗解释Hadoop究竟能做什么？
u013444177的专栏
04-29 5430
现在好像大家都在讲 大数据 云计算 hadopp .那么hadoop究竟能做些什么呢? 网上的资料大多是这么写的： 一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDF
hadoop集群服务搭建共6页.pdf.zip
10-29
3. **硬件准备**：搭建Hadoop集群需要多台服务器，每台服务器应有足够的内存、CPU和硬盘空间。网络环境也需稳定且高速，以支持节点间的通信。 4. **软件准备**：需要安装Java环境，Hadoop发行版，可能还需要配置SSH...
hadoop 2.x 版本概要讲解，HA搭建指南
最新发布
06-24
在安装部署 Hadoop 2.x 版本之前，首先需要确保服务器环境满足一定的硬件和软件要求。例如，操作系统应为 Linux，并且已安装好 JDK（Java Development Kit）。此外，还需要设置好主机名解析、SSH 免密码登录等基本...
基于Hadoop的云计算试验平台搭建研究.docx
05-03
### 基于Hadoop的云计算试验平台搭建研究 #### 概述 随着大数据时代的到来，数据处理技术的发展成为推动社会进步的关键力量之一。在众多的大数据处理框架中，Hadoop以其优秀的分布式处理能力脱颖而出，成为了构建...
大数据框架hadoop之JobTracker主要功能分析
lingdian23的专栏
12-04 2125
    JobTracker是整个MapReduce计算框架中的主服务，相当于集群的“管理者”，负责整个集群的作业控制和资源管理。本文对JobTracker的启动过程及心跳接收与应答两个主要功能进行分析。 1 JobTracker启动过程 1.1 各种线程功能 函数offerService()会启动JobTracker内部几个比较重要的后台服务进程，分别是expireTracker...
hadoop作业调度详解之JobTracker
smn3255的专栏
12-01 3875
5.JobTracker         JobTracker是在网络环境中提交及运行MR任务的核心位置。 5.0 JobTracker启动        JobTracker类中有一个main()函数，hadoop启动的时候执行此main()函数启动JobTracker进程，main()中生成一个JobTracker的对象，然后通过tracker.offerService()语句启
Hadoop的介绍以及发展历史
weixin_44704605的博客
10-07 5243
Hadoop的介绍以及发展历史 Hadoop最早起源于lucene下的Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。 2003年、2004年谷歌发表的三篇论文为该问题提供了可行的解决方案。 ——分布式文件系统（GFS），可用于处理海量网页的存储 ——分布式计算框架MAPREDUCE，可用于处理海量网页的索引计算问题。  ——分布式的结构化数据存储系统Bigtabl
hadoop怎么读？怎么发音
weixin_34388207的博客
11-26 1817
hadoop不是一个英文单词，是作者发明的词，hadoop名称来源作者小孩的一个}h毛填充黄色大象玩具。 它的发音是：[hædu:p] 本文转自94cool博客园博客，原文链接：http://www.cnblogs.com/94cool/p/5630216.html，如需转载请自行联系原作者 ...
简单理解Hadoop（Hadoop是什么、如何工作）
yingzoe的博客
01-27 4651
hadoop是什么? Hadoop是一种分析和处理大数据的软件平台，是Appach的一个用Java语言所实现的开源软件的加框，在大量计算机组成的集群当中实现了对于海量的数据进行的分布式计算。 Hadoop主要的任务部署分为3个部分，分别是：Client机器，主节点和从节点。 主节点主要负责Hadoop两个关键功能模块HDFS、Map Reduce的监督。当Job Tracker使用Map R...
区分HDFS的jobtracker与testtracker
weixin_43166227的博客
09-11 1654
hadoop的集群是基于master/slave模式，namenode和jobtracker属于master, datanode和tasktracker属于slave, master只有一个，而slave有多个。 secondaryNameNode内存需求和nameNode在一个数量级上，所以通常secondary namenode(运行在单独的物理机器上)和namenode运行在不同的机器上....
hadoop如何发音
热门推荐
十面埋伏
01-31 1万+
hadoop如何发音：网上查到Hadoop的发音音标[hædu:p]。 本节和大家一起学习一下Hadoop， 一个分布式系统基础架构，由Apache基金会开发的，在这里和大家分享一下它的开源实现以及Hadoop研究方面的内容，希望通过本节的学习大家对Hadoop这一概念有清楚的认识。 Hadoop概念 一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分
"Nutch环境搭建及发展历史
Nutch是一个开源的网络爬虫和搜索引擎工具，由Doug Cutting于2002年8月发起，最初托管于...通过本文档的介绍和指导，相信读者能够更好地了解和掌握Nutch的环境搭建和使用方法，从而更好地利用Nutch来满足自己的需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值