大数据Hadoop入门——HDFS、Yarn、MapReduce

最新推荐文章于 2024-01-20 22:36:34 发布
最新推荐文章于 2024-01-20 22:36:34 发布
阅读量2.3k 收藏 7
点赞数
分类专栏： 大数据 文章标签： hadoop hdfs 大数据 yarn mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44090845/article/details/121349345
版权
这篇博客介绍了Hadoop的基本概念，包括HDFS、YARN和MapReduce的架构，强调了Hadoop的高可靠性、高扩展性、高效性和高容错性。此外，还详述了Hadoop的运行环境搭建，包括虚拟机配置、集群搭建和端口配置。最后，总结了Hadoop入门所需掌握的关键知识点和面试可能涉及的问题。
摘要由CSDN通过智能技术生成

Hadoop框架详细个人总结——Hadoop入门篇

大数据是什么？

1）大数据的主要解决问题：海量数据的采集、存储和分析计算问题。
2）重要单位：按顺序->bit、Byte、KB、MB、GB、TB、、PB、EB。
	1Byte = 8bit 
	1K = 1024Byte 
	1MB = 1024K 
	1G = 1024M 
	1T = 1024G 
	1P = 1024T
3）大数据特点：大量、高速、多样（结构化数据和非结构化数据）、低价密度低
以数据库/文本为主的结构化数据，以网络日志、音频、视频、图片、地理位置信息为主的非结构化数据。

Hadoop基本概念介绍

一、什么是Hadoop？

1）Hadoop是一个分布式系统基础架构
2）重要解决海量数据存储和计算的问题
2）可以说Hadoop是一个大的生态圈

Hadoop

二、Hadoop优势——四高

  • 高可靠性
    因为Hadoop在底层维护了数据的副本，所以即使某个计算单元或存储单元产生了故障，也不会造成数据的丢失。
    在这里插入图片描述 如上图，三台服务器上，虽然102上的数据丢了一个，但在103和104还存在着副本，就不会造成它的丢失。
  • 高扩展性
    集群间分配任务数据，可以动态的增加删除服务器，可以很便利的扩展数以千计的节点。
    在双十一的时候，就可以动态的增加服务器。
  • 高效性
    Hadoop集群之间是并行工作的，这样可以加快任务处理的速度。
  • 高容错性
    能够自动将失败的任务重新分配。假如某台结点的任务挂掉了，就可以自动分配到另一台节点继续执行。

三、Hadoop组成（重点）

在这里插入图片描述

hadoop1.x的时代，Hadoop中的mapreduce同时处理计算和资源的调度，耦合性较大，独立性较小。（模块间联系越多，其耦合性越强，同时表明其独立性越差。）
hadoop2.x的时代，增加了yarn，它只负责资源的调度，mapreduce只负责运算，这样各个模块的独立性提高了。

四、HDFS架构

HDFS是一个分布式文件系统

  • 架构
    1）NameNode(nn)----老板
    这里主要存储文件的元数据，就是指文件名、文件目录结构、文件属性（生成时间、副本数）、以及每个文件的块列表和块所在的DataNode等信息
    2）DataNode(dn)----员工
    这里顾名思义存的就是文件的块数据和块数据的校验和。
    3）Secondary NameNode(2nn)----秘书
    这里存放的是namenode的元数据备份，每隔一段时间这个小秘就会去把老板的备份一下，到后面的part细讲。

五、YARN架构

YARM是一个资源调度器

  • 架构
    1）ResourceManager（RM）：整个集群资源（内存、CPU等）的老大
    2）NodeManager（N M）：单个节点服务器资源老大
    3）ApplicationMaster（AM）：单个任务运行的老大
    4）Container：容器，相当一台独立的服务器，里面封装了任务运行所需要的资源，如内存、CPU、磁盘、网络等。
    在这里插入图片描述
    上图就是yarn的框架，客户端可以有多个，集群上可以运行多个ApplicationMaster ，每个nodemanger上可以有多个Container。

六、MapReduce架构

MapReduce负责数据的计算。将计算分为map阶段和reduce阶段。
1）Map阶段并行处理输入的数据
2）Reduce阶段对map端的结果进行汇总

在这里插入图片描述

七、HDFS、YARN、MapReduce 三者关系

在这里插入图片描述

1、有一个mapreduce任务，首先在客户端启动，这个时候需要一个ApplicationMaster，管理这个任务，这里我们简称mrApplicationMaster，此时拿到任务就要去申请资源。
2、向整个集群资源的老大ResourceManger去申请运算资源。
3、申请到资源后，mrApplicationMaster会遍历hdfs的文件，规划启动多少个mapTask和reduceTask。
4、然后mrApplicationMaster向ResourceManger汇报maptask，reduecetask数，申请nodemanager资源，每个nodemanager节点上管理运算资源，然后nodemanger启动容器进行计算。
5、最后将ruducetask的输出结果输出到hdfs上。

Hadoop运行环境搭建

虚拟机的准备

一、安装虚拟机

1. VMware的安装

官网进行安装，具体教程可以问度娘。

2. CentOS系统的安装

系统的安装首先先配置电脑，再安装系统。
这里可以先百度，后期会出详细教程，这里再不多赘述。
这里讲一下里面的虚拟网络IP修改地址配置和主机名hosts文件的修改，这些命令也很重要！！

虚拟机网络IP修改地址配置(Linux命令）

1）修改网络IP地址为静态IP地址，避免IP地址经常变化，从而方便节点服务器间的互相通信。

[root@hadoop100 ~]#vim /etc/sysconfig/network-scripts/ifcfg-ens33

2)修改以及添加

#修改
BOOTPROTO="static"
/#IP的配置方法[none|static|bootp|dhcp]（引导时不使用协议|静态分配IP|BOOTP协议|DHCP协议）

#添加
#IP地址
IPADDR=192.168.10.100  
#网关  
GATEWAY=192.168.10.2      
#域名解析器
DNS1=192.168.10.2

3）修改IP地址后的结果如图所示，执行“:wq”命令，保存退出
4）执行"systemctl restart network"命令，重启网络服务。如果报错，则执行“reboot”命令，重启虚拟机

[root@hadoop100 ~]# systemctl restart network

5）使用ifconfig命令查看当前IP，查看是否与刚才修改的IPADDR相对应

[root@hadoop100 ~]# ifconfig

修改主机名和hosts文件
1）修改主机名称

#改为hadoop100
[root@hadoop100 ~]# vim /etc/hostname
hadoop100

2）配置Linux克隆机主机名称映射hosts文件（方便以后打开这个的时候不用输地址，直接输后面的短名字，其实就是为了方便），打开/etc/hosts

[root@hadoop100 ~]# vim /etc/hosts

#添加如下内容
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

3）重启

[root@hadoop100 ~]# reboot

4）修改windows的主机映射文件（hosts文件）
（1）如果操作系统是window7，可以直接修改
（a）进入C:\Windows\System32\drivers\etc路径
（b）打开hosts文件并添加如下内容，然后保存

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

（2）如果操作系统是window10，先拷贝出来，修改保存以后，再覆盖即可
（a）进入C:\Windows\System32\drivers\etc路径
（b）拷贝hosts文件到桌面
（c）打开桌面hosts文件并添加如下内容

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

（d）将桌面hosts文件覆盖C:\Windows\System32\drivers\etc路径hosts文件
3. 远程终端工具的安装

安装Xshell7，然后配置，这里也不再多赘述。

二、虚拟机配置及环境准备

1.ping一下百度，测试一下能上网吗？

[root@hadoop100 ~]# ping www.baidu.com

2.安装 epel-release
这就相当于一个一个网络仓库，里面有很多包。

[root@hadoop100 ~]# yum install -y epel-release

注意：如果 Linux 安装的是最小系统版，还需要安装如下工具；如果安装的是 Linux
桌面标准版，不需要执行如下操作：

#net-tool：工具包集合，包含 ifconfig 等命令
root@hadoop100 ~]# yum install -y net-tools

#vim：编辑器
[root@hadoop100 ~]# yum install -y vim

3.关闭防火墙，关闭防火墙开机自启

[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service

基本配置差不多了，剩下的不再赘述，后面另出一个详细说吧~~

  • Hadoop 目录结构
[atguigu@hadoop102 hadoop-3.1.3]$ ll
总用量 52
drwxr-xr-x. 2 atguigu atguigu 4096 5 月 22 2017 bin
drwxr-xr-x. 3 atguigu atguigu 4096 5 月 22 2017 etc
drwxr-xr-x. 2 atguigu atguigu 409
最低0.47元/天 解锁文章
不吃香菜的码农
关注
专栏目录
HDFS、YARN、MapReduce概述及三者之间的关系
weixin_49415186的博客
01-27 8370
一、HDFS架构概述 1、NameNode（nn）: 存储文件的元数据，如文件名、文件目录结构、文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。 2nn：每隔一段时间对NameNode元数据备份 ...
【Hadoop】核心组件深度剖析：HDFS、YARN与MapReduce的奥秘
最新发布
博客虽小，世界尽在其中
08-20 3624
本文深入探讨了Hadoop这一分布式计算框架的核心组件——HDFS（Hadoop Distributed File System）、YARN（Yet Another Resource Negotiator）以及MapReduce的基本原理与架构，为读者全面揭示了Hadoop如何在大数据处理领域发挥关键作用。 首先，文章详细解析了HDFS的架构与工作原理，强调了其作为Hadoop生态系统中的数据存储基石，如何通过分布式存储方式解决大数据存储难题。HDFS的设计旨在处理海量数据，利用冗余存储和节点间的数据复制
Yarn工作机制和HDFS、Yarn、MapReduce之间的关系
ZYN的博客
12-17 1509
文章目录1、Yarn基础架构2、Yarn工作机制2.1 作业提交全过程详解(1)作业提交(2)作业初始化(3)任务分配(4)任务运行2.2 作业提交过程中HDFS和MapReduce3、HDFS、Yarn、MapReduce三者之间的关系 1、Yarn基础架构 ​ YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。各组件功能如下所示： 2、Yarn工作机制 2.1 作业提交全过程详解 (1)作业提交 Cl
HDFS Yarn MapReduce关系
C_x_330的博客
12-30 329
HDFS Yarn MapReduce关系
HDFS、YARN、MapReduce概述及三者之间的关系(图解)
HGl1327401792的博客
01-20 2733
HDFS(Hadoop Distributed File System) 是一种分布式文件系统，用于处理在商业硬件上运行的大型数据集。它用于将单个 Apache Hadoop 集群扩展到数百 （甚至数千）个节点。HDFS 是的主要组件之一，其他组件包括MapReduce和 YARN。HDFS的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。MapReduce是一种分布式计算框架。
hadoop处理框架，hdfs，mapreduce，yarn
08-29
Hadoop 处理框架、HDFS、MapReduce、YARN Hadoop 处理框架是大数据处理和分析的重要工具，主要由 HDFS、MapReduce 和 YARN 三个组件组成。HDFS 是一个分布式文件系统，提供高吞吐量的数据访问；MapReduce 是一个...
从零开始大数据--Hadoop、HDFS、MapReduce、HBase、Hive
MOKE_SPACE
05-21 2986
文章目录概述HadoopHDFSHBase实现原理Regin服务器原理HBase安装与使用NoSQL数据库MapReduceHive 概述 IT领域每隔十五年就会迎来一次重大变革： 1980：个人计算机 1995：互联网 2010：物联网、云计算和大数据 信息科技为大数据时代提供技术支撑： 存储设备容量不断增加 CPU处理能力大幅提升 网络带宽不断增加 大数据是由结构化和非结构化数据组成的 10%的结构化数据，存储在数据库中 90%的非结构化数据，它们与人类信息密切相关 大数据技术的不同层面
大数据 培训 课程 入门 HDFS hadoop
03-09
【大数据培训课程入门 HDFS Hadoop】 大数据技术已经成为现代企业数据处理的核心，其中Hadoop作为开源的分布式计算框架，扮演着重要角色。本课程旨在帮助初学者了解并掌握Hadoop和其分布式文件系统HDFS的基本概念和...
hadoop学习笔记（hdfs，mapreduce，yarn）
05-18
压缩文件中包含了Hadoop生态系统、体系架构及特点，三大基本组件HDFS，MapReduce，YARN的学习笔记，文件为Markdown格式，进行了详细功能介绍说明，可以帮助大家学习hadoop的三大组件或者作为一份详细资料备份，帮助...
HDFS,MapReduce,Yarn详细介绍
m0_49359581的博客
12-04 3554
Hadoop集群概述
MapReduce 原理、过程详解与优化 Yarn Hdfs Mapreduce 三者联系
weixin_41734687的博客
10-25 3212
参考文档 一 Mapreduce Yarn Hdfs三者联系 （比喻有不恰当的地方，但更容易理解三者之间的关系） Mapreduce，Yarn，Hdfs三者之间的关系，可以用电脑来进行解释。大体可以理解为：windows系统电脑上的一个视频播放软件（mapreduce），通过windows操作系统（yarn）找到存在电脑硬盘（hdfs）上的电影，然后视频播放器播放电影 Yarn 相当于电脑的操作...
hadoop学习记（2）--HDFS+yarn+MapReduce关系与原理
热门推荐
菜 头笔记
12-22 1万+
什么是hadoop? Hadoop无非就是：HDFS(文件系统)，yarn(任务调配)，mapReduce(编程模型，大数据并行运算)，我们安装完hadoop就已经包括了以上； Hadoop集群其实就是HDFS集群，说到HDFS,下面来谈谈什么是HDFS HDFS其实就是个文件系统，和fastDFS类似，像百度云，阿里云等就是个文件存储系统，当然一般如果仅仅是为了用来存储文件的话直接fast
Hadoop(hdfs, yarn, mapreduce)理论详解
myself_ning的博客
07-10 1799
hadoop,hdfs,yarn,mapreduce
Hadoop三大核心组件——HDFS、YARN、MapReduce原理解析
笑里笑外~
11-18 1万+
Hadoop 文章目录Hadoop一、 简介二、工作原理1.HDFS原理组成介绍执行流程图2.YARN原理组成介绍执行流程图3.MapReduce原理什么是MapReduce完整工作流程图流程详细描述MapTask流程Shuffle流程Reduce Task流程总结 一、 简介 Hadoop主要在分布式环境下集群机器，获取海量数据的处理能力，实现分布式集群下的大数据存储和计算。 其中三大核心组件: HDFS存储分布式文件存储、YARN分布式资源管理、MapReduce分布式计算。 二、工作原理 1.HD
在hadoop2.x中的三大核心组件之HDFS和YARN、MapReduce
u011441473的专栏
03-11 5760
Hadoop的三大核心组件之HDFS和YARN Hadoop集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。 （1）HDFS集群：负责海量数据的存储，集群中的角色主要有NameNode/DataNode/SecondaryNameNode。 （2）YARN集群：负责海量数据运算时的资源调度，集群中的角色主要有ResourceManager/NodeManager （3）MapReduce:分布式计算框架（它其实是一个应用程序开发包）。 （MapRe...
Hadoop基础--HDFS/Yarn/MapReduce概述
FunnyPrince_的博客
05-19 494
1. Hadoop优势(4高)： 1.高可靠性： Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失； **2.高扩展型：**在集群间分配任务数据，可方便的扩展数以千计的节点； **3.高效性：**在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度； **4.高容错性：**能够自动将失败的任务重新分配。 2. Hadoop1.x、2.x、3.x区别： 在Hadoop1.x时代，Hadoop中的MapReduce同时处理
Hadoop下的HDFS和Yarn上的MapReduce
BigBug_500的博客
07-18 785
为什么要用Hadoop 大量的数据，如果需要计算（CPU密集型）并快速的处理得到结果，使用传统的做法（eg：单节点中线程的并发执行，能达到一个充分利用CPU的目的）无法达到快速的效果；这个时候就需要使用多进程，并使其分布在多个节点上，让多个CPU去执行，来达到一个计算（CPU密集型）并快速处理的目的。 解决了什么问题： HDFS（Hadoop Distributed File System,...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值