![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
ForeverDWYW
这个作者很懒,什么都没留下…
展开
-
分布式计算 MpReduce
一、mr介绍1、MapReduce设计理念是移动计算而不是移动数据,就是把分析计算的程序,分别拷贝一份到不同的机器上,而不是移动数据.2、计算框架有很多,不是谁替换谁的问题,是谁更适合的问题.mr离线计算框架 适合离线计算;storm流式计算框架 适合实时计算;sprak内存计算框架 适合快速得到结果的计算.二、mr原理1、mr第一个部分是把hdfs的数据切成一个个split片转载 2018-03-14 22:30:24 · 535 阅读 · 0 评论 -
Hadoop Journal Node 作用
NameNode之间共享数据(NFS、QuorumJournal Node(用得多))两个NameNode为了数据同步,会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时,会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息,并且一直监控editlog的变化,把变化应用转载 2018-04-07 22:18:04 · 981 阅读 · 0 评论 -
Hadoop Job提交流程及涉及的关键进程
1、hadoop集群中主要进程有master: ResourceManager NameNodeslaves: DataNode,NodeManager,RunJar,MRAppMaster,YarnChild1) 其中 RunJar(提交器),MRAppMaster,YarnChild与随着某个job的创建而创建,随着job的完成而终止。它们的作用分别是:R原创 2018-04-06 15:39:48 · 817 阅读 · 0 评论 -
调试 Hadoop 源代码
这里介绍两种调试 Hadoop 源代码的方法: 利用 Eclipse 远程调试工具和打印调试日志. 这两种方法均可以调试伪分布式工作模式和完全分布式工作模式下的 Hadoop(1) 利用 Eclipse 进行远程调试下面以调试 ResourceManager 为例, 介绍利用 Eclipse 远程调试的基本方法, 这可分两步进行. 步骤 1 调试模式下启动 Hadoo...转载 2018-12-04 20:47:41 · 396 阅读 · 0 评论