MapReduce基于HDFS的弊端:
MapReduce和spark共用节点,产生争抢资源
产生了yarn
客户端是随着作业而启动,application MAster也是随着作业而启动
解决单点故障的问题
1.X没有yarn
2.x才出现了yarn
yarn和HDFS是独立的进程
yarn需要手动去启动
yarn的端口号是8088
由node03 的standby跳转到active的node04状态
获取文件下的内容:
put是推送,提交上去
get是获取,获得,拉下来
附加启动yarn的配置:
mapred-site.xml配置:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
yarn-site.xml配置;
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>cluster1</value>
</property>
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>node03</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>node04</value>
</property>
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>node02:2181,node03:2181,node04:2181</value>
</property>