Hadoop环境搭建

Hadoop的环境可以有多种方式，比如本地模式（standalone）、伪分布式、完全分布式以及HA模式。

参考：

[1] http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/SingleCluster.html

[2] https://blog.csdn.net/qq_26442553/article/details/78710170 hadoop的三种运行模式区别及配置详解

Hadoop安装包

这里采用Hadoop2.7.3版本，可以在官网https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz 

​​​​​​​核心配置文件

Hadoop主要有四个核心配置文件，如下：

1. core-site.xml：配置通用属性
2. hdfs-site.xml：配置HDFS的属性
3. mapred-site.xml：配置MapReduce的属性
4. yarn-site.xml：配置YARN的属性

本地模式(Local/Standalone)

也称为“独立模式”。没有任何守护进程，所有的程序都运行在同一个JVM上。在本地模式下调试MR程序非常方便。所以一般该模式主要是在学习或者开发阶段调试使用 。

​​​​​​​​​​​​​​搭建步骤

[1] 将hadoop-2.7.3.tar.gz上传到/root目录下;

[2] 解压

[root@centos7 ~]# cd /opt/

[root@centos7 opt]# tar zxf ~/hadoop-2.7.3.tar.gz

​​​​​​​hadoop目录介绍

[root@centos7 opt]# ls -lrt hadoop-2.7.3/

total 108

drwxr-xr-x 4 root root    31 Aug 18  2016 share

drwxr-xr-x 2 root root  4096 Aug 18  2016 sbin

-rw-r--r-- 1 root root  1366 Aug 18  2016 README.txt

-rw-r--r-- 1 root root 14978 Aug 18  2016 NOTICE.txt

-rw-r--r-- 1 root root 84854 Aug 18  2016 LICENSE.txt

drwxr-xr-x 2 root root   239 Aug 18  2016 libexec

drwxr-xr-x 3 root root    20 Aug 18  2016 lib

drwxr-xr-x 2 root root   106 Aug 18  2016 include

drwxr-xr-x 3 root root    20 Aug 18  2016 etc

drwxr-xr-x 2 root root   194 Aug 18  2016 bin

[root@centos7 opt]#

 

share：hadoop各个模块的jar包、源码以及文档等

sbin：hadoop的各种运维命令

bin：hadoop的执行命令

libexec：shell配置文件

lib：本地so库

include：头文件

etc：hadoop的各类xml配置文件

​​​​​​​本地运行wordcount

WordCount是Hadoop自带的一个统计单次个数的MapReduce程序。

第一步：准备好需要统计的文件

这里直接用etc/hadoop下面的配置文件。

[root@centos7 hadoop-2.7.3]# mkdir input

[root@centos7 hadoop-2.7.3]# cp etc/hadoop/*.xml input

 

第二步：执行wordcount

[root@centos7 hadoop-2.7.3]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'config[a-z.]+'

 

第三步：查看统计结果

[root@centos7 hadoop-2.7.3]# cat output/*

17      configuration

3       configuration.xsl

1       configured

[root@centos7 hadoop-2.7.3]#

​​​​​​​伪分布式(Pseudo-Distributed)

有守护进程，但全部都运行在同一台机器上，模拟了一个小的集群。

 

​​​​​​​完全分布式（Completely-Distributed）

至少三台及以上服务器 ，Master和Slave分布在不同的服务器上构成一个完整的集群。

 

​​​​​​​高可用集群（HA-Cluster）

至少三台及以上服务器 ，HDFS和YARN都具有高可用的集群。