hadoop2官方文档中文翻译(2)---单节点配置

 

原文:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html

 

  • 设置环境

       假设你已经安装了hadoop-common/hadoop-hdfs 并且配置了$HADOOP_COMMON_HOME/$HADOOP_HDFS_HOME。解压hadoop mapreduce的tar包并且设置环境变量$HADOOP_MAPRED_HOME为tar包的解压目录。配置$HADOOP_YARN_HOME路径和 $HADOOP_MAPRED_HOME一样。

  • 配置文件

       为了运行资源管理器和节点管理器,你必须更新配置。假设你的$HADOOP_CONF_DIR为配置文件目录,并且已经配置好了HDFS和core-site.xml。那你还需要配置mapred-site.xml和yarn-site.xml

 

       配置 mapred-site.xml

       把下面的配置添加到mapred-site.xml

  <property>
    <name>mapreduce.cluster.temp.dir</name>
    <value></value>
    <description>No description</description>
    <final>true</final>
  </property>

  <property>
    <name>mapreduce.cluster.local.dir</name>
    <value></value>
    <description>No description</description>
    <final>true</final>
  </property>


         配置yarn-site.xml

         把下面的配置添加到yarn-site.xml

<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>host:port</value>
    <description>host为resource manager的hostname,port为NodeManagers连接Resource Manager的端口.
    </description>
  </property>

  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>host:port</value>
    <description>host为resourcemanager的hostname,port为集群上的应用与resourceManger通话的端口</description>
  </property>

  <property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
    <description>避免你没有用默认的调度器</description>
  </property>

  <property>
    <name>yarn.resourcemanager.address</name>
    <value>host:port</value>
    <description>host为ResourceManager的hostname,port为客户端与resourceManager通话的端口</description>
  </property>

  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value></value>
    <description>nodemanager使用的本地目录</description>
  </property>

  <property>
    <name>yarn.nodemanager.address</name>
    <value>0.0.0.0:port</value>
    <description>nodemanagers绑定的端口</description>
  </property>  

  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>10240</value>
    <description>NodeManager的内存容量</description>
  </property>
 
  <property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/app-logs</value>
    <description>在hdfs上的应用日志目录</description>
  </property>

   <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value></value>
    <description>Nodemanagers的日志目录</description>
  </property>

  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce.shuffle</value>
    <description>mapreduce运行时的shuffle service</description>
  </property>
  •  配置capacity-scheduler.xml

      确保capacity-scheduler.xml配置了下列信息

  

 <property>
    <name>yarn.scheduler.capacity.root.queues</name>
    <value>unfunded,default</value>
  </property>
  
  <property>
    <name>yarn.scheduler.capacity.root.capacity</name>
    <value>100</value>
  </property>
  
  <property>
    <name>yarn.scheduler.capacity.root.unfunded.capacity</name>
    <value>50</value>
  </property>
  
  <property>
    <name>yarn.scheduler.capacity.root.default.capacity</name>
    <value>50</value>
  </property>


 运行程序

      假设你已经配置好了环境变量: $HADOOP_COMMON_HOME, $HADOOP_HDFS_HOME,$HADOO_MAPRED_HOME,$HADOOP_YARN_HOME,$JAVA_HOME and $HADOOP_CONF_DIR 

设置 $YARN_CONF_DIR 和 $HADOOP_CONF_DIR一样。

用下面的方法来运行ResourceManager 和 NodeManager :

$ cd $HADOOP_MAPRED_HOME
$ sbin/yarn-daemon.sh start resourcemanager
$ sbin/yarn-daemon.sh start nodemanager


你可以运行一个例子

$ $HADOOP_COMMON_HOME/bin/hadoop jar hadoop-examples.jar randomwriter out


 

 

其实按照官方文档来配置单节点,我也没看懂。

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值