hadoop
文章平均质量分 90
小柴的生活观
重来一次认真的阅读和写作!
展开
-
Hadoop 公平调度器 详解
公平调度是一种赋予 作业(job) 资源的方法,它的目的是让所有的作业随着时间的推移,都能平均的获取等同的共享资源。当单独一个作业在运行时,它将使用整个集群。当有其它作业被提交上来时,系统会将 任务(task) 空闲时间片(slot) 赋给这些新的作业,以使得每一个作业都大概获取到等量的 CPU 时间。与 Hadoop 默认调度器维护一个作业队列不同,这个特性让小作业在合理的时间内完成的同时又不“饿”到消耗较长时间的大作业。它也是一个在多用户间共享集群的简单方法。公平共享可以和作业优先权搭配使用——优先权像原创 2022-06-07 07:08:55 · 1125 阅读 · 0 评论 -
Linux 安装以及基本使用Hadoop 详解
在 http://archive.apache.org/dist/ 去下载 hadoop,hadoop运行需要安装 JDK1> 解压软件到目录$ tar -zxf hadoop-2.5.0.tar.gz -C /opt/modules 2> 删除 hadoop 中的 share/doc 目录,该目录中存放着Hadoop相关文档用的比较少,占用空间有几G且会影原创 2016-12-27 23:03:45 · 5359 阅读 · 0 评论