![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop大数据技术
刘水水不水
感谢关注
展开
-
故障转移处理器的工作原理
将故障的sink降级到故障池中,并在池中为它们分配一个冷却器,在重试之前,故障时间会增加,当sink成功发送event后,它将恢复到活跃池中。sink具有与之相关的优先级,数值越大,优先级越高。如果在发送event时sink发生故障,则会尝试下一个具有最高优先级的sink来继续发送event。如果未指定优先级,则根据配置文件中指定sink的顺序确定优先级。原创 2024-07-04 21:47:16 · 414 阅读 · 2 评论 -
yarn的基本原理
客户端向ResourceManager提交应用程序 ResourceManage为应用程序分配一个Container,并在该Container中启动ApplicationMaster ApplicationMaster与ResourceManage协商资源,获取后续任务所需要的资源;ApplicationMaster向ResourceManage请求资源,ResourceManage根据集群的资源分配情况分配给ApplicationMaster相应的资源 ApplicationMaster向NodeM原创 2024-07-02 14:34:58 · 206 阅读 · 0 评论 -
SecondaryNameNode的作用是什么?
(1)(2)原创 2024-07-01 15:39:42 · 255 阅读 · 0 评论 -
HDFS中NameNode怎么管理命名空间的
即文件系统镜像,主要用来存储HDFS上的元数据信息,是HDFS元数据的完整快照。NameNode每次启动时,都会默认加载最新的FSImage文件到内存中。信息以两个文件的形式持久化保存在本地磁盘上,一个是。,该文件用于保存用户对命名空间镜像的修改信息。原创 2024-07-02 15:45:00 · 366 阅读 · 0 评论 -
HDFS读数据的原理
主要基于客户端,NameNode,DataNode之间的协同关系。客户端发起读取请求,NameNode提供数据块的位置信息,然后客户端与相应的DataNode建立连接并读取数据块。这个过程通过高效的网络通信和并行处理,实现了大规模数据的高效读取。同时,HDFS通过数据块的划分和复制策略,确保了数据的可靠性和容错性。原创 2024-07-01 15:13:38 · 288 阅读 · 0 评论 -
Hadoop配置集群有哪几种模式?分别表示什么意思?伪分布式应用在什么场景?
Hadoop配置集群模式:本地运行模式、伪分布式模式、完全分布式模式、高可用模式 本地运行模式:在一台单机上运行,没有HDFS伪分布式文件系统,直接读取本地操作系统中的文件系统 伪分布式模式:在一个节点上模拟具有Hadoop完整功能的微型集群,应用在开发人员测试程序的执行场景中 完全分布式模式:被应用于生产环境,使用n台主机组成一个Hadoop集群,Hadoop守护进程运行在每一台主机上 高可用模式:通过配置主从备份节点来提高系统的可用性,确保在主机出现故障时能够快速切换原创 2024-07-01 15:08:02 · 416 阅读 · 0 评论