Hadoop
我係外星人
我真的很懒,什么都没有留下啊~
展开
-
hadoop调度器
hadoop调度器概述Hadoop中常见的调度器有三种,分别为:FIFO调度器、公平调度器Fair Scheduler、容量调度器Capacity Scheduler(计算能力调度器)它的作用是将系统中空闲的资源按一定策略分配给作业。在Hadoop中,调度器是一个可插拔的模块,用户可以根据自己的实际应用要求设计调度器。基本作用和调度器考虑因素Hadoop调度器的基本作用就是根据节点资源...原创 2019-03-08 10:11:17 · 495 阅读 · 0 评论 -
HDFS为什么不适合存储小文件?
不能高效的对大量的小数据进行存储(大量的小文件会很快沾满nameNode的内存空间)大量的小文件,也会影响NameNode的寻址时间1、小文件过多,会过多占用namenode的内存,并浪费block。- 文件的元数据(包括文件被分成了哪些blocks,每个block存储在哪些服务器的哪个block块上),都是存储在namenode上的。HDFS的每个文件、目录、数据块占用150B,因此300...原创 2019-03-26 21:05:00 · 6250 阅读 · 1 评论