Hadoop
文章平均质量分 50
孔天逸
認めること前に進めっている。
展开
-
Hadoop学习笔记(一)——文件系统HDFS
学习资料慕课网——Hadoop大数据平台架构与实践–基础篇设计架构基本概念块(Block)NameNodeDataNodeHDFS的文件被分成块进行存储HDFS块的默认大小为64MB块是文件存储处理的逻辑单元,在此上进行存储、查找等操作NameNode和DataNode是HDFS中的两类节点NameNode是管理节点,存放文件元数据文件与数据块的映射表数据块与数据节点的映射表DataN原创 2016-11-14 19:08:52 · 753 阅读 · 0 评论 -
Hadoop学习笔记(二)——MapReduce
学习资料慕课网——Hadoop大数据平台架构与实践–基础篇MapReduce原理分而治之,一个大任务分成多个小的子任务(map),并行执行后,合并结果(reduce)。MapReduce运行流程基本概念Job & Task 一个Job分成多个Task MapTaskReduceTaskJobTracker 作业调度分配任务、监控任务执行进度监控TskTracker的状态TaskTr原创 2016-11-14 19:39:58 · 634 阅读 · 0 评论