hadoop之HDFS及yarn（一）

最新推荐文章于 2024-06-29 21:38:35 发布
最新推荐文章于 2024-06-29 21:38:35 发布
阅读量1.1k 收藏 3
点赞数
分类专栏： hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Small_temper/article/details/106547591
版权
本文详细介绍了Hadoop的HDFS和YARN组件，包括HDFS的三台服务器节点配置、元数据管理、文件读写过程、SNN的合并机制，以及YARN的服务器节点配置、ResourceManager与NodeManager的角色。同时，提到了Hadoop的配置文件作用和安全模式。
摘要由CSDN通过智能技术生成

hdfs

hdfs三台服务器节点配置:

在这里插入图片描述

各节点说明：

  • namenode ：HDFS的守护进程，负责维护整个文件系统，存储着整个文件系统的元数据信息，有image+edit log ，namenode不会持久化存储这些数据，而是在启动时重建这些数据。

  • datanode：是具体文件系统的工作节点，当我们需要某个数据，namenode告诉我们去哪里找，就直接和那个DataNode对应的服务器的后台进程进行通信，由DataNode进行数据的检索，然后进行具体的读/写操作

  • secondarynamenode ：一个冗余的守护进程，相当于一个namenode的元数据的备份机制，定期的更新，和namenode进行通信，将namenode上的image和edits进行合并，可以作为namenode的备份使用

如果namenode是高可用，那么就没有secondaryNamenode了，多了journalnode，并且journalnode最好是奇数个
journalNode：同步元数据信息，保证两个namenode里面的元数据是一模一样的，不然就会出现脑裂
zkfc：zkFailoverController 守护进程，与我们的namen

最低0.47元/天 解锁文章
Small_temper
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop的三大核心组件之HDFS和YARN
Zonzereal的博客
09-26 2万+
Hadoop的三大核心组件之HDFS和YARN Hadoop集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。 （1）HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode/SecondaryNameNode。 （2）YARN集群：负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /N
Hadoop的HDFS以及YARN简介
Infinity_TP的博客
03-26 826
Hadoop的HDFS以及YARN简介 Hadoop分布式系统简介 Hadoop是分布式的系统架构，是Apache基金会顶级金牌项目 来源：三大论文GFS、MapReduce、 Bigtable 创始人：Doug cutting Hadoop分布式系统重要部分 HDFS YARN MapReduce Zookeeper Hive Hbase … HDFS(分布式存储系统) 用...
HDFS、YARN、Mapreduce简介
weixin_34417814的博客
10-10 503
一、 HDFS介绍： Hadoop2介绍 HDFS概述 HDFS读写流程 1. Hadoop2介绍 Hadoop是Apache软件基金会旗下的一个分布式系统基础架构。Hadoop2的框架最核心的设计就是HDFS、MapReduce和YARN，为海量的数据提供了存储和计算。 HDFS主要是Hadoop的存储，用于海量数据的存储； MapReduce主要运用于分...
【图解大数据技术】Hadoop、HDFS、MapReduce、Yarn
weixin_43889578的博客
06-29 1559
MapReduce是一个分布式离线计算框架，专门用于处理大数据场景中与实时性无关的一些离线计算任务。MapReduce的数据输入一般是HDFS，然后经过InputFormat进行输入格式化，变成格式；然后执行用户实现的Mapper类型的map方法，进行数据映射，映射处理的结果也是格式；然后执行一个shuffle过程，对映射结果进行按key进行分组分区，把同一区域的所有KV发送到同一个Reducer，由一个节点进行；Reducer对同一个key分组下的所有value进行聚合操作；
Hadoop入门—HDFS、MR、Yarn【看这一篇就够了！】
qq_73181349的博客
04-15 1845
hadoop生态及架构，HDFS存储方式、Yarn资源调度、MR并行计算
启动Hadoop的HDFS提交一个Spark作业到YARN上运行
最新发布
07-27
启动Hadoop的HDFS提交一个Spark作业到YARN上运行 路径和环境：确保HADOOP_HOME和SPARK_HOME变量设置正确，且Hadoop和Spark已正确安装和配置。 Spark作业：上述脚本中的Spark作业是Spark自带的Pi示例。你需要根据你的...
Hadoop之详解HDFS架构
02-24
MapReduce——分布式计算框架，运行于YARN之上这篇文章主要是对Hadoop三大基本组件之一的HDFS进行深入的学习。随着数据量越来越大，在一一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，...
大数据技术之Hadoop(HDFS).docx
03-02
HDFS是Hadoop项目中的核心组件之一，主要用于存储和管理大规模的数据。HDFS是基于Google的GFS设计的，具有高可扩展性、可靠性和高性能等特点。HDFS可以存储大量的数据，并提供高效的数据读写能力。 HDFS 产出背景及...
hadoop处理框架，hdfs，mapreduce，yarn
08-29
Hadoop 处理框架、HDFS、MapReduce、YARN Hadoop 处理框架是大数据处理和分析的重要工具，主要由 HDFS、MapReduce 和 YARN 三个组件组成。HDFS 是一个分布式文件系统，提供高吞吐量的数据访问；MapReduce 是一个...
Hadoop（HDFS、YARN、HBase、Hive和Spark等）默认端口表
10-29
9000 fs.defaultFS，如：hdfs://172.25.40.171:9000 9001 dfs.namenode.rpc-address，DataNode会连接这个端口 50070 dfs.namenode.http-address 50470 dfs.namenode.https-address 50100 dfs.namenode.backup....
Hadoop中hdfs与yarn命令大全
m0_58258383的博客
07-28 553
随着大数据平台的不断发展，我们对hadoop使用也越来越多。同时hadoop许多命令在使用时会产生遗忘和参数选择的问题出现。本文将hadoop平台上的hdfs与yarn常用命令进行汇总解释。
HDFS+YARN
weixin_42476127的博客
08-12 188
1.HDFS组成架构 HDFS文件上传下载删除更名移动 @Test public void testCopyFromLocalFile() throws IOException, InterruptedException, URISyntaxException { // 1 获取文件系统 Configuration configuration = new Configuration(); configuration.set("dfs.replication", "2"); FileSy
HDFS、YARN、MapReduce概述及三者之间的关系
weixin_49415186的博客
01-27 8071
一、HDFS架构概述 1、NameNode（nn）: 存储文件的元数据，如文件名、文件目录结构、文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。 2nn：每隔一段时间对NameNode元数据备份 ...
hadoop之hdfs和yarn
coder_Gray的博客
03-19 1411
一.简介- 什么是hdfs？ hdfs是一种分布式系统，其组成是namenode节点和datanode节点。顾名思义，namenode是“名字节点”，存储的是这部分存储区域的相关信息，并管理datanode节点；而datanode存储的就是数据。一个namenode对应一个或多个datanode节点，每一个datanode运行在一台机器上，所以这些datanode组合到一起将形成一个集群（c
HDFS、YARN、MapReduce概述及三者之间的关系(图解)
HGl1327401792的博客
01-20 2519
HDFS(Hadoop Distributed File System) 是一种分布式文件系统，用于处理在商业硬件上运行的大型数据集。它用于将单个 Apache Hadoop 集群扩展到数百 （甚至数千）个节点。HDFS 是的主要组件之一，其他组件包括MapReduce和 YARN。HDFS的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。MapReduce是一种分布式计算框架。
Hadoop源代码点滴-系统结构（HDFS+YARN）
weixin_30929295的博客
06-03 89
Hadoop建立起HDFS和YARN两个字系统，前者是文件系统，管数据存储；后者是计算框架，管数据处理。 如果只有HDFS而没有YARN，那么Hadoop集群可以被用作容错哦的文件服务器，别的就没有什么应用可言了。虽然HDFS是个分布式的文件系统，但是对服务器的用户来说那只是他的内部实现，从外部看与一般的Raid结构的文件服务器并无多大的区别。 从功能和层次上看，YARN是HDFS的用户，是H...
hadoop yarn 跟 hdfs 原理介绍
sade1231的博客
08-01 385
https://blog.csdn.net/zonzereal/article/details/78095110
1_Hadoop安装部署及常用配置(HDFS+YARN)
nothair的博客
03-01 808
2020/12/5 sunhaiqi@bonc.com.cn 文章目录一、hadoop伪分布式集群搭建1.1、添加主机名称（ip空格机器名）1.2、为当前用户bduser101赋予root权限1.3、设置ssh无密登录1.4、关闭防火墙，并将默认状态改为关闭1.5、准备好jdk、hadoop压缩包1.6、修改配置文件1.7、格式化namenode（第一次启动集群之前格式化）二、hadoop完全分布式集群搭建2.1、创建节点2.2、网络配置(node102，node103)2.3、修改主机名(node102,
Hadoop架构详解：HDFS与YARN的功能与协作
本资源是一份关于Apache Hadoop Cloudera Administrator Training的教程，重点关注了Hadoop分布式文件系统（HDFS）和YARN集群的结构、功能以及管理。Hadoop集群分为两个主要部分：HDFS集群和YARN资源调度器。 HDFS...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值