Hadoop学习 MapReduce,yarn配置

MapReduce=Map + Reduce(聚合)
yarn资源调度管理
1、配置MapReduce和yarn

cd $HADOOP_HOME/etc/hadoop
  • 配置 mapred-env.sh
vi  mapred-env.sh
export JAVA_HOME=/export/server/jdk
export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA

配置日志文件的最大空间及日志级别(TODO:日志级别中各等级说明)

  • 配置mapred-site.xml
vi mapred-site.xml
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    <description></description>
  </property>

  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>node1:10020</value>
    <description></description>
  </property>


  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>node1:19888</value>
    <description></description>
  </property>


  <property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>/data/mr-history/tmp</value>
    <description></description>
  </property>


  <property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>/data/mr-history/done</value>
    <description></description>
  </property>
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
</configuration>

  • 配置yarn环境
vi yarn-env.sh
export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

  • 配置yarn-site.xml
vi yarn-site.xml
<configuration>
<property>
    <name>yarn.log.server.url</name>
    <value>http://node1:19888/jobhistory/logs</value>
    <description></description>
</property>

  <property>
    <name>yarn.web-proxy.address</name>
    <value>node1:8089</value>
    <description>proxy server hostname and port</description>
  </property>


  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
    <description>Configuration to enable or disable log aggregation</description>
  </property>

  <property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/tmp/logs</value>
    <description>Configuration to enable or disable log aggregation</description>
  </property>


<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>node1</value>
    <description></description>
  </property>

  <property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    <description></description>
  </property>

  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/data/nm-local</value>
    <description>Comma-separated list of paths on the local filesystem where intermediate data is written.</description>
  </property>


  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/data/nm-log</value>
    <description>Comma-separated list of paths on the local filesystem where logs are written.</description>
  </property>


  <property>
    <name>yarn.nodemanager.log.retain-seconds</name>
    <value>10800</value>
    <description>Default time (in seconds) to retain log files on the NodeManager Only applicable if log-aggregation is disabled.</description>
  </property>



  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    <description>Shuffle service that needs to be set for Map Reduce applications.</description>
  </property>
</configuration>

  • 复制上述4个配置文件到node2和node3
    在这里插入图片描述

2、启动MapReduce和yarn服务

start-yarn.sh

3、启动历史日志服务

mapred --daemon start historyserver

在这里插入图片描述
3、通过网页查看集群状态
http://node1:8088/cluster/cluster
注意如果是云服务器需要开通对应端口的访问权限。

在这里插入图片描述
4、查看服务启动状态

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
配置HadoopYARN,您可以按照以下步骤进行操作: 1. 打开Hadoop安装目录,并进入到`etc/hadoop`目录中。 2. 打开`yarn-site.xml`文件,它是YARN配置文件。 3. 在`yarn-site.xml`文件中,您可以设置一些关键属性,如下所示: - `yarn.resourcemanager.hostname`:指定YARN资源管理器的主机名。 - `yarn.nodemanager.aux-services`:指定YARN节点管理器的辅助服务,多个服务之间用逗号分隔。 - `yarn.nodemanager.aux-services.<service-name>.class`:指定辅助服务的实现类。 - `yarn.nodemanager.resource.memory-mb`:指定每个节点管理器可用的最大内存量。 - `yarn.nodemanager.resource.cpu-vcores`:指定每个节点管理器可用的最大CPU核数。 4. 保存并关闭`yarn-site.xml`文件。 5. 打开`mapred-site.xml`文件,它是MapReduce配置文件。 6. 在`mapred-site.xml`文件中,可以配置一些与YARN相关的属性,如下所示: - `mapreduce.framework.name`:设置MapReduce框架使用的资源管理器,默认为`yarn`。 - `mapreduce.jobhistory.address`:指定Job历史服务器的主机名和端口号。 - `mapreduce.jobhistory.webapp.address`:指定Job历史服务器的Web界面的主机名和端口号。 7. 保存并关闭`mapred-site.xml`文件。 8. 您还可以根据需要配置其他HadoopYARN相关的属性,如`core-site.xml`和`hdfs-site.xml`等。 9. 配置完成后,重新启动Hadoop集群,使配置生效。 这些步骤将帮助您配置HadoopYARN。请确保根据您的需求正确设置各个属性。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值