hadoop
文章平均质量分 79
Mojoooo
思考,学习,不循规蹈矩的程序猿
展开
-
Hadoop总结一:基础知识-Namenode,Datanode(非HA高可用性配置)
Namenode主要功能:接受客户端的读写服务Namenode保存metadata信息(元数据) --文件ownership和permissions --文件包含哪些快 --Block保存在哪个DataNode上(Datanode启动时上报)Namenode的metadata信息在启动后会加载到内存 --metadata存储到磁盘文件名为‘fsimage’原创 2015-10-10 15:24:37 · 1227 阅读 · 0 评论 -
Hadoo总结二:HA高可用性原理
hadoop2.0HA的基本原理和2种方式。1 概述 在hadoop2.0之前,namenode只有一个,存在单点问题(虽然hadoop1.0有secondarynamenode,checkpointnode,buckcupnode这些,但是单点问题依然存在),在hadoop2.0引入了HA机制。hadoop2.0的HA机制官方介绍了有2种方式,一种是NFS(Network Fil原创 2015-10-10 15:29:30 · 538 阅读 · 0 评论 -
Hadoop总结三:HDFS--Federation
1. 当前HDFS架构和功能概述我们先回顾一下HDFS功能。HDFS实际上具有两个功能:命名空间管理(Namespace management)和块/存储管理服务(block/storage management)。1.1 命名空间管理HDFS的命名空间包含目录、文件和块。命名空间管理:是指命名空间支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、转载 2015-10-11 09:08:51 · 661 阅读 · 0 评论 -
Hadoop总结四:MapReduce工作流程
1.MapReduce作业运行流程下面贴出我用visio2010画出的流程示意图: 流程分析:1.在客户端启动一个作业。2.向JobTracker请求一个Job ID。3.将运行作业所需要的资源文件复制到HDFS上,包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息。这些文件原创 2015-10-10 20:31:30 · 494 阅读 · 0 评论