Hadoop功能与使用详解（HDFS+YARN）

已于 2024-01-15 20:20:47 修改
阅读量208 收藏
点赞数
分类专栏： 中间件 文章标签： hadoop hdfs
于 2023-11-24 20:15:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qwerty1372431588/article/details/134606024
版权
本文深入探讨了Hadoop的核心组件，包括HDFS的架构解析、NameNode与DataNode、Block缓存、HDFS联邦和机架感知。同时，详细介绍了YARN的架构演变、基本流程、进程组件如ResourceManager、NodeManager和ApplicationMaster。此外，还涵盖了MapReduce的Map和Reduce阶段以及配置文件的常用参数。最后，讨论了Hadoop集群的安装、常见操作和错误处理，如NN异常恢复、安全模式、数据平衡、集群扩缩容和快照管理。
摘要由CSDN通过智能技术生成

1 服务概述

Hadoop是一个开源的分布式计算和存储框架，由Apache基金会开发和维护。Hadoop 为庞大的计算机集群提供可靠的、可伸缩的应用层计算和存储支持，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集，并且支持在单台计算机到几千台计算机之间进行扩展。

Hadoop使用Java开发，所以可以在多种不同硬件平台的计算机上部署和使用。其核心部件包括分布式文件系统 (Hadoop DFS，HDFS) 和MapReduce。

1.1 HDFS

Hadoop Distributed File System，Hadoop分布式文件系统，简称HDFS

在这里插入图片描述

1.1.1 架构解析

1.1.1.1 Block 数据块
  • 基本存储单元，1.x版本默认64M，2.x版本之后默认128M；
  • 单个文件会被拆分成为一个个大小相同的块数据，存储在不同的机器上，当一个文件小于Block设置的大小，那么实际占用的空间为其文件的大小；
  • 基本
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Hadoop-YARN介绍
weixin_52972575的博客
07-25 5039
yarn介绍
Hadoop+YARN资源分配+与调度的研究
10-09
Hadoop,YARN,资源分配,调度
Hadoop-Yarn
qq_51138261的博客
07-03 652
Hadoop-Yarn1 Yarn 资源调度器1.1 Yarn 基础架构1.2 Yarn 工作机制1.3 作业提交全过程1.4 Yarn 调度器和调度算法1.4.1 先进先出调度器（FIFO）1.4.2 容量调度器（Capacity Scheduler）1.4.3 公平调度器（Fair Scheduler）1.5 Yarn 常用命令1.5.1 yarn application 查看任务1.5.2 yarn logs 查看日志1.5.3 yarn applicationattempt 查看尝试运行的任务1.5
熟悉常用的Hadoop操作：Hadoop选做题
最新发布
weixin_64587092的博客
09-17 1338
您已经使用了带有-f选项的hadoop fs -get命令来强制从HDFS的/user/hadoop/test/目录下载.bashrc文件到本地的/usr/local/hadoop/test_download/目录，并覆盖了原有文件（如果存在）。在打开的config文件中，您可以根据需要添加配置。例如，如果Java安装在/usr/lib/jvm/java-8-openjdk-amd64，则修改为：1export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64。
hadoop中的Yarn和spark的StandAlone调度模式的对比
weixin_43866709的博客
05-28 508
YARN的基本思想是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离，主要方法是创建一个全局的ResourceManager（RM）和若干个针对应用程序的ApplicationMaster（AM）。这里的应用程序是指传统的MapReduce作业或作业的DAG（有向无环图）。 YARN 分层结构的本质是 ResourceManager。这个实体控制整个集群并管理应用程序向基础计算...
[转]hadoop使用中的几个小细节(一)
IT进行时的专栏
11-16 112
[转]hadoop使用中的几个小细节(一) 转自：http://rdc.taobao.com/blog/dw/archives/244   十二月 07, 2008 By: 竹庄 Category: hadoop, 所有 最近在hadoop实际使用中有以下几个小细节分享:1 中文问题    从url中解析出中文,但hadoop中打印出来仍是乱码?我们曾经以为hadoop是...
Hadoop+yarn搭建
hadoopp的博客
09-14 694
多机版生产环境搭建(HDFS+yarn) 1.准备四台linux主机   2.配置每台虚拟机网卡eth0     [root@100 /]# cat /etc/sysconfig/network-scripts/ifcfg-eth0      DEVICE=eth0     HWADDR=00:0C:29:7D:83:D6     TYPE=Ethernet     UUI
Hadoop架构详解：HDFS与YARN的功能与协作
本资源是一份关于Apache Hadoop Cloudera Administrator Training的教程，重点关注了Hadoop分布式文件系统（HDFS）和YARN集群的结构、功能以及管理。Hadoop集群分为两个主要部分：HDFS集群和YARN资源调度器。 HDFS...
虚拟机上4节点HADOOP集群搭建教程：详解HDFS与YARN组件
在实际操作中，Hadoop集群主要分为两个部分：HDFS（Hadoop分布式文件系统）和YARN（Yet Another Resource Negotiator，用于资源调度）。HDFS负责数据的分布式存储，由NameNode和DataNode组成，前者管理元数据，后者...
Hadoop各组件详解（HDFS篇）
01-07
​3.Yarn Hadoop资源调度器 1.HDFS HDFS的设计特点是： 1、大数据文件，非常适合上T级别的大文件或者一堆大数据文件的存储，如果文件只有几个G甚至更小就没啥意思了 2、文件分块存储，HDFS会将一个完整的大文件平均...
Hadoop使用
wsxqaz的专栏
03-13 673
http://www.cnblogs.com/skyme/archive/2011/10/26/2223984.html
hadoop笔记之部署hadoop集群(HA)+yarn
aniyah的专栏
07-31 387
部署hadoop集群(HA)+yarn 前提条件 部署虚拟机：有以下条件 配置网络 设置USEDNS为no 关闭防火墙 关闭SELinux 配置免秘钥登录 安装jdk zookeeper集群搭建 安装到node2,node3,node4 a) 上传安装包 将zookeeper.tar.gz上传到node2、node3、node4 b) 解压 tar -zxf zookeeper-3.4....
五分钟搞懂Hadoop
千淘万漉
08-07 556
转载自知乎专栏的文章，原文章链接https://zhuanlan.zhihu.com/p/20176725 括号中被高亮标识出来的是我批注的内容 「大数据」，想必大家经常听到这个被炒得很热的话题。随之而来的是各种看似高大上的专业术语，比如「扩展性」、「可靠性」、「容错性」，好像真的很高深，要积累多年经验才能学习。 但另一方面，很多同学都刚刚进入互联网这个行业，对分布式
Hadoop之Yarn 详细教程
白鸽
12-29 2217
YARN 是 Hadoop2 引入的通用的资源管理和任务调度的平台，可以在 YARN 上运行MapReduce、Tez、Spark 等多种计算框架，只要计算框架实现了 YARN 所定义的接口，都可以运行在这套通用的 Hadoop 资源管理和任务调度平台上。支持多种计算框架YARN 是通用的资源管理和任务调度平台，只要实现了 YARN 的接口的计算框架都可以运行在 YARN 上。资源利用率高多种计算框架可以共用一套集群资源，让资源充分利用起来，提高了利用率。运维成本低。
Hadoop入门及简单使用
yellowswimming的博客
10-16 4595
hadoop安装及第一个计算pi值程序跑通.翻译过来就是hadoop贡献了一个可靠，大规模，分布式的计算**开源**软件(通常一个公司开发出产品在第一句话都要吹一下的，还都是一堆听起来很高大尚的专业术语:smile:),hadoop同时是一个允许使用简单的编程模型来处理分布式大数据集的框架，后面的你可以理解为是分布式统一的优点，这里不再详细分析，有兴趣的可以去了解一下分布式相关的技术。
Hadoop的安装以及使用
weixin_63260646的博客
05-10 2692
Hadoop的安装详解
Hadoop教程
等风等雨等你
07-27 239
目前在市场上的各种技术，从不同的供应商，包括亚马逊，IBM，微软等来处理大数据。尽管找到了处理大数据的技术，我们研究了以下两类技术： 操作大数据 这些包括像MongoDB系统，提供业务实时的能力，这里主要是数据捕获和存储互动工作。 NoSQL大数据系统的设计充分利用已经出现在过去的十年，而让大量的计算，以廉价，高效地运行新的云计算架构的优势。这使得运营大数据工作负载更容易管理，更便宜，更快的...
Hadoop基本操作
m0_73971893的博客
03-05 2925
Hadoop基本操作方法
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Studying！！！

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值