这篇博客详细梳理了Hadoop框架，包括HDFS、YARN资源调度、MapReduce流程，特别是YARN提交Job的源码流程和MR程序的本地及集群运行模式。还涉及了Hadoop的高可用（HA）、Hive、HBase和Storm的深入学习，讨论了HDFS HA的fencing机制以及Storm在分布式场景中的应用。
hadoop
HDFS
yarn
yarn 资源调度
yarn提交job的源码流程
mapreduce
流程
MR程序的几种提交运行模式
本地模型运行
1/在windows的eclipse里面直接运行main方法，就会将job提交给本地执行器localjobrunner执行
----输入输出数据可以放在本地路径下（c:/wc/srcdata/）
----输入输出数据也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata)
2/在linux的eclipse里面直接运行main方法，但是不要添加yarn相关的配置，也会提交给localjobrunner执行
----输入输出数据可以放在本地路径下（/home/hadoop/wc/srcdata/）
----输入输出数据也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata)
集群模式运行
1/将工程打成jar包，上传到服务器，然后用hadoop命令提交 hadoop jar wc.jar cn.itcast.hadoop.mr.wordco
最低0.47元/天 解锁文章
262
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
