hadoop
王诗龄
这个作者很懒,什么都没留下…
展开
-
hadoop配置的修改
1.修改/etc目录下yarn-site.xml的配置,重启机器配置不生效 修改/var/run/clouder-scm-agent目录下yarn-site.xml的配置,重启节点配置不生效 在cloudera manager控制面板中在服务yarn中查看和编辑下的默认中 高级选项内,能修改yarn-site.xml配置,重启集群生效...原创 2014-07-17 09:25:33 · 135 阅读 · 0 评论 -
mapreduce 任务调度器的配置
需求 公司里有两个部门,一个叫hive,一个叫pig,这两个部门都需要使用公司里的hadoop集群。于是问题来了,因为hadoop默认是FIFO调度的,谁先提交任务,谁先被处理,于是hive部门很担心pig这个部门提交一个耗时的任务,影响了hive的业务,hive希望可以和pig在高峰期时,平均使用整个集群的计算容量,互不影响。 思路 hadoop的默认调度器是FIFO,但是也有...原创 2015-01-07 10:56:31 · 105 阅读 · 0 评论 -
hadoop 面试题
1.Hadoop集群可以运行的3个模式? 单机(本地)模式 伪分布式模式 全分布式模式 2. 单机(本地)模式中的注意点? 在单机模式(standalone)中不会存在守护进程,所有东西都运行在一个JVM上。这里同样没有DFS,使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序,这也是最少使用的一个模式。 3. 伪分布模式中的注意点? 伪分布...原创 2015-03-02 15:10:22 · 104 阅读 · 0 评论