Hadoop2.x的集群搭建与配置（一）——概述

我配置hadoop的时候用的时Linux系统（推荐）的CentOS7，由于本机是window10，所以需要借助虚拟机，这里我选用的是VMware

 

这一章不说太多细节操作，说一些理论概述什么的东西，看操作的朋友可以跳过了。

 

整个Hadoop的部署：

    安装方式大概有两种：传统解压包方式和Linux的标准方式，各有优劣

                                 传统解压包方式操作繁琐易错，但是有助于理解Hadoop，而Linux方式简单易用，却隐藏了许多细节

   而部署环境大致也有三种：单机模式、伪分布模式和分布式模式

                                单机模式顾名思义，就是不需要与其他节点交互，不需要使用HDFS(不知道这个是什么鬼的朋友可以暂时把他当成Hadoop的数据库一样的鬼)，直接读取本地文件系统

                               伪分布模式就是在一台单机上运行，用不同的进程模仿分布式运行中的各类节点

                               而分布式模式就是真正的，在不同机器上部署系统

                               一般我们学习用的就是为分布系统

整个部署的步骤大体有三步：部署前，部署和部署后

                         部署前我们要做的：线制定一个部署的规划，再准备机器，准备所需版本软件环境（什么jdk-Linux，什么Hadoop2.x，什么eclipse-linux之类的一群）

                         部署中：配置并理解Hadoop，再启动它

                         部署后：部署完毕后应该做的一件事莫过于测试一下，如果不行再反思一下哪里有问题

 

准备环境：虚拟机或者说Hadoop，大数据什么之类的东西对于计算机的硬件配置是有一定要求的，比如谷歌，百度之类的企业，光是服务器就是几栋楼（当然我们不用，要不跳楼算了）

                 但是再实际完全部署Hadoop时，最低要求也要两台机器（一个主节点Master，一个从节点Slave1；也可以说一个NameNode,一个DataNode），而对于机器硬件方面，每台机器最低也要有个1G(1024Mb)内存，20G的磁盘空间（这个要求对于笔记本中的虚拟机来说是个不小的开销）

                软件准备环境：Linux系统——CentOS，个人认为这个版本相对于Linux的其他版本会好些（Ubantu可能不太稳定），但是这里有一点需要注意：新庄的CentOS不能够直接部署Hadoop，还需要修改机器名，添加域名映射，关闭防火墙，安装jdk等一系列操作，这些细节以后在说