【hadoop】关于HDFS的四大机制与两大核心

最新推荐文章于 2022-08-28 03:37:49 发布
VIP文章 最新推荐文章于 2022-08-28 03:37:49 发布
阅读量1.5k 收藏 9
点赞数 1
分类专栏： 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43390943/article/details/97172817
版权

文章目录


hdfs 是hadoop 生态系统的一部分，为大数据的处理提供了分布式的存储环境。

hdfs的四大机制和两大核心：
hdfs 提供的是高容错性的分布式的数据存储方案，

四大机制

hadoop集群启动的时候各个进程启动的顺序
namenode:
datanode
secondarynamenode

心跳机制

集群节点之间必须做时间同步

  • namenode负责集群上任务的分工，如果要进行分工，则必须直到各个从节点的存活状况，namenode通过datanode定期向namenode发送的心跳报告得知的，datanode默认每隔3秒发送一次心跳报告

namenode什么时候才会判定datanode死了

  • datanode每隔3秒向namenod
最低0.47元/天 解锁文章
冯巩2.0
关注
  • 1
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop-hdfs-fsimage-exporter：将Hadoop HDFS内容统计信息导出到Prometheus
02-03
Prometheus Hadoop HDFS FSImage导出器 | 将Hadoop HDFS统计信息导出到包括 总数/每个用户/每个组/每个配置的目录路径/每个路径集 目录数 文件数 文件大小和大小分布（可选） 块数 文件复制（总体/每个用户摘要） 导出器使用解析FSImage。 这种方法的优点是 快速（2.6 GB FSImage〜50s） 不会给HDFS NameNode增加额外的负担（没有NameNode查询，您可以在第二个NameNode上运行它） 缺点是 没有实时更新，仅在NameNode写入FSImage时每6小时更新一次。 但是对于大多数情况（长期趋势，检测HDF
hadoop-hdfs-2.7.3-API文档-中英对照版.zip
04-20
赠送jar包：hadoop-hdfs-2.7.3.jar； 赠送原API文档：hadoop-hdfs-2.7.3-javadoc.jar； 赠送源代码：hadoop-hdfs-2.7.3-sources.jar； 赠送Maven依赖信息文件：hadoop-hdfs-2.7.3.pom； 包含翻译后的API文档：hadoop-hdfs-2.7.3-javadoc-API文档-中文(简体)-英语-对照版.zip； Maven坐标：org.apache.hadoop:hadoop-hdfs:2.7.3； 标签：apache、hdfs、hadoop、jar包、java、API文档、中英对照版； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。 双语对照，边学技术、边学英语。
Hadoop的两个核心组成
m0_67402914的博客
08-16 2850
Hadoop的两个核心组成：HDFS:分布式文件系统，存储海量的数据。MapReduce:并行处理框架，实现任务分解和调度。
HDFS总结点
zhimakaimen503的博客
04-02 111
参考链接:https://blog.csdn.net/qq_24140237/article/details/81206963 HDFS构架原则： 元数据与数据分离：文件本身的属性（即元数据）与文件所持有的数据分离 主/从架构：一个HDFS集群是由一个NameNode和一定数目的DataNode组成 一次写入多次读取：HDFS中的文件在任何时间只能有一个Writer。当文件被创建，接着写入数据，最后，一旦文件被关闭，就不能再修改 移动计算比移动数据更划算：数据运算，越靠近数据（为了尽量减小全局带宽的消耗.
Hadoop学习笔记[1]-HDFS基本知识和读写原理
unlock的博客
02-03 767
Hadoop学习笔记[1]-HDFS基本知识和读写原理   大数据领域的技术基石主要来源于谷歌的三篇论文GFS、MapReduce和BigTable，分别是文件系统、计算框架和数据库，本文所说的HDFS对应其中的GFS，先抛出一个小问题，在HDFS出现之前，市面上就已经存在各种各样的分布式文件系统，那么为什么Hadoop之父还要搞一个HDFS？ 1、HDFS基本架构 1-1 存储模型 1)、文件线性按照字节切割成块，具有offset和块ID【数据被切割在不同的块的时候怎么办？】 2)、不同文件之间的块大小
HDFS的两大核心
Master chy
12-17 1578
HDFS的两大核心包括写数据和读数据，这是HDFS的一个重点，下面笔者就讲解一下两大核心的过程。同时，笔者也会讲解一下元数据的合并过程。 写数据 1.客户端向NameNode发送文件上传请求； 2.NameNode进行一系列的检查：权限、文件的父目录是否已经存在。检查通过之后，允许上传； 3.允许客户端上传； 4.客户端发送真正的文件上传请求，请求包含一个重要的信息：文件的长度、大小； 5.Nam...
Hdfs四大原理
郝大侠的博客
07-25 1771
Hdfs运行原理 分布式存储数据。文件 节点 数据块！ HDFS的主节点，主要有两大作用： 一是管理文件目录结构：一块元数据是文件与数据块之间的信息 /opt/workspace/hadoop/hdfs/name/current —hads-defaults.xml 静止持久化存储在磁盘上，通过fsimage edits文件维护 fsimage:目录和数据快信息以及edits的操...
初识Hadoop两大核心：HDFS和MapReduce
web13170611647的博客
08-28 4548
其中NameNode、Secondary NameNode、JobTracker运行在Master节点上，而在每个Slave节点上，部署一个DataNode和TaskTracker，以便 这个Slave服务器运行的数据处理程序能尽可能直接处理本机的数据。Hadoop是一个能够对大量数据进行分布式处理的软件框架，实现了Google的MapReduce编程模型和框架，能够把应用程序分割成许多的小的工作单元，并把这些单元放到任何集群节点上执行。Datanode(Slave)：记录着服务器内所储存的数据块的列表。.
HDFS的四大机制
xiaohao95的博客
05-31 819
（1）心跳机制：   介绍： hdfs是主从架构，所有为了实时的得知dataNode是否存活，必须建立心跳机制，在整个hdfs运行过程中，dataNode会定时的向nameNode发送心跳报告已告知nameNode自己的状态。    心跳内容：      - 报告自己的存活状态，每次汇报之后都会更新维护的计数信息      - 向nameNode汇报自己的存储的block列表信息    心跳报告周...
Hadoop--HDFS四大机制
ITgagaga的博客
11-16 339
Hadoop–HDFS四大机制 文章目录Hadoop--HDFS四大机制一：心跳机制二：机架策略三：安全模式问题引出：namenode 进入安全模式的原理：正常启动的时候进入安全模式的原理：四：负载均衡1) 保证动态的均衡(不均衡会影响集群性能)2) 如何手动实现负载均衡?(移动block块 --> 整个集群性能)1.设置峰值和谷值之间的差2.设置阈值(达到这个阈值才会负载均衡) 默认10...
hadoop-hdfs-2.6.5-API文档-中文版.zip
05-01
赠送jar包：hadoop-hdfs-2.6.5.jar； 赠送原API文档：hadoop-hdfs-2.6.5-javadoc.jar； 赠送源代码：hadoop-hdfs-2.6.5-sources.jar； 赠送Maven依赖信息文件：hadoop-hdfs-2.6.5.pom； 包含翻译后的API文档：hadoop...
hadoop-hdfs-client-2.9.1-API文档-中文版.zip
04-07
赠送jar包：hadoop-hdfs-client-2.9.1.jar 赠送原API文档：hadoop-hdfs-client-2.9.1-javadoc.jar 赠送源代码：hadoop-hdfs-client-2.9.1-sources.jar 包含翻译后的API文档：hadoop-hdfs-client-2.9.1-javadoc-...
Hadoop（HDFS).docx
04-18
Hadoop（HDFS)
【hadoop】yarn资源调度
qq_43390943的博客
07-27 1174
文章目录 现在在运行程序的时候， runjar进程 MRAppMaster Yarnchild 在hadoop1.0中运行的时候有两个进程 jobtracker 整个计算程序的老大 ( 负责资源调度，随机调度，监控程序运行的状态 ，启动运行程序) tasktracker ...
nginx的高并发模式
qq_43390943的博客
07-27 1158
文章目录多进程实现的并发模式 多进程实现的并发模式 ngnix 采用的 多进程+ IO复用 的并发模式 1、节省锁带来的开销。每个 worker 进程都是独立的进程，不共享资源，不需要加锁。同时在编程以及问题查上时，也会方便很多。 2、独立进程，减少风险。采用独立的进程，可以让互相之间不会影响，一个进程退出后，其它进程还在工作，服务不会中断，master 进程则很快重新启动新的 worker 进程...
hadoop分布式框架的使用中的问题
qq_43390943的博客
06-27 1110
文章目录 64位的系统中安转hadoop会出现部分native 中的库不能使用的问题，所以64 位系统必须手动编译安转hadoop 对于jdk版本号大于9的可能会出现无法启动resourcemanager 与nodemanager的情况，原因是jdk版本过高的话，与hadoop 的兼容 对于C++ 开发hadoop的问题，如果出现第一种情况的话，会出现链接库错误，hadooppipes.a中的多...
redis
qq_43390943的博客
07-27 951
文章目录
后端开发是一个涉及广泛技术和工具的领域.docx
最新发布
04-30
后端开发是一个涉及广泛技术和工具的领域，这些资源对于构建健壮、可扩展和高效的Web应用程序至关重要。以下是对后端开发资源的简要介绍： 首先，掌握一门或多门编程语言是后端开发的基础。Java、Python和Node.js是其中最受欢迎的几种。Java以其跨平台性和丰富的库而著名，Python则因其简洁的语法和广泛的应用领域而备受欢迎。Node.js则通过其基于JavaScript的单线程异步I/O模型，为Web开发提供了高性能的解决方案。 其次，数据库技术是后端开发中不可或缺的一部分。关系型数据库（如MySQL、PostgreSQL）和非关系型数据库（如MongoDB、Redis）各有其特点和应用场景。关系型数据库适合存储结构化数据，而非关系型数据库则更适合处理大量非结构化数据。 此外，Web开发框架也是后端开发的重要资源。例如，Express是一个基于Node.js的Web应用开发框架，它提供了丰富的API和中间件支持，使得开发人员能够快速地构建Web应用程序。Django则是一个用Python编写的Web应用框架，它采用了MVC的软件设计模式，使得代码结构更加清晰和易于维护。
hadoop与hdfs同一类吗
06-01
Hadoop和HDFS不是同一类东西。Hadoop是一个分布式计算框架，而HDFS是Hadoop的一部分，是Hadoop...因此，可以说HDFS是Hadoop的基础设施之一，而Hadoop则是使用HDFS和其他相关组件进行大规模数据处理的分布式计算框架。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值