MapReduce部分：MapReduce基于yarn的配置与计算

MapReduce基于HDFS的弊端：

MapReduce和spark共用节点，产生争抢资源

产生了yarn 

 

  

客户端是随着作业而启动，application MAster也是随着作业而启动

解决单点故障的问题

1.X没有yarn

2.x才出现了yarn

yarn和HDFS是独立的进程

yarn需要手动去启动

 

 

yarn的端口号是8088

 

由node03 的standby跳转到active的node04状态

 

 

 

 获取文件下的内容：

put是推送，提交上去

get是获取，获得，拉下来

附加启动yarn的配置：

mapred-site.xml配置：

 <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
  </property>

 yarn-site.xml配置;

 <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
<property>
   <name>yarn.resourcemanager.ha.enabled</name>
   <value>true</value>
 </property>
 <property>
   <name>yarn.resourcemanager.cluster-id</name>
   <value>cluster1</value>
 </property>
 <property>
   <name>yarn.resourcemanager.ha.rm-ids</name>
   <value>rm1,rm2</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm1</name>
   <value>node03</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm2</name>
   <value>node04</value>
 </property>
 <property>
   <name>yarn.resourcemanager.zk-address</name>
   <value>node02:2181,node03:2181,node04:2181</value>
 </property>