yangxiaobo118的博客

一、        搭建前准备工作Ps：整个过程请在Root用户下进行，避免一些授权问题。1.  设置免密码登录：Centos自带了SSH，所以不用安装ssh，直接进入主题：（1） 敲命令：ssh localhost此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入密码123456，这样就登陆到本机了。（2）退出：exit;（3）进入授权目录：c

1. YARN 基本架构YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理。

Partitioners负责划分Maper输出的中间键值对的key，分配中间键值对到不同的Reducer。Maper输出的中间结果交给指定的Partitioner，确保中间结果分发到指定的Reduce任务。在每个Reducer中，键按排序顺序处理（Within each reducer, keys are processed in sorted order）。Combiners是MapReduce