hadoop
文章平均质量分 82
Archer9511
这个作者很懒,什么都没留下…
展开
-
Hadoop学习笔记之HDFS架构
1 Master(NameNode/NN) 带 N个Slaves(DataNode/DN)HDFS/YARN/HBase1个文件会被拆分成多个Blockblocksize:128M130M ==> 2个Block: 128M 和 2MNN:1)负责客户端请求的响应2)负责元数据(文件的名称、副本系数、Block存放的DN)的管理DN:1)存储用户的文件对应的数据块(Block)2)要定期向...原创 2018-03-20 21:44:45 · 394 阅读 · 0 评论 -
Hadoop学习日记之hdfs读写流程
转载自:http://blog.chinaunix.net/uid-27105712-id-3274395.html 分布式文件系统比较出名的有HDFS 和 GFS,其中HDFS比较简单一点。本文是一篇描述非常简洁易懂的漫画形式讲解HDFS的原理。比一般PPT要通俗易懂很多。不难得的学习资料。1、三个部分: 客户端、nameserver(可理解为主控和文件索引类似linux的inode)、data...转载 2018-03-20 21:47:01 · 256 阅读 · 0 评论 -
Hadoop学习笔记之YARN
Hadoop1.x时:MapReduce:Master/Slave架构,1个JobTracker带多个TaskTrackerJobTracker: 负责资源管理和作业调度TaskTracker: 定期向JT汇报本节点的健康状况、资源使用情况、作业执行情况; 接收来自JT的命令:启动任务/杀死任务YARN:不同计算框架可以共享同一个HDFS集群上的数据,享受整体的资源调度XXX on YARN的好处...原创 2018-03-21 00:39:36 · 418 阅读 · 0 评论