Hadoop的环境可以有多种方式,比如本地模式(standalone)、伪分布式、完全分布式以及HA模式。
参考:
[1] http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/SingleCluster.html
[2] https://blog.csdn.net/qq_26442553/article/details/78710170 hadoop的三种运行模式区别及配置详解
Hadoop安装包
这里采用Hadoop2.7.3版本,可以在官网https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz
核心配置文件
Hadoop主要有四个核心配置文件,如下:
- core-site.xml:配置通用属性
- hdfs-site.xml:配置HDFS的属性
- mapred-site.xml:配置MapReduce的属性
- yarn-site.xml:配置YARN的属性
本地模式(Local/Standalone)
也称为“独立模式”。没有任何守护进程,所有的程序都运行在同一个JVM上。在本地模式下调试MR程序非常方便。所以一般该模式主要是在学习或者开发阶段调试使用 。
搭建步骤
[1] 将hadoop-2.7.3.tar.gz上传到/root目录下;
[2] 解压
[root@centos7 ~]# cd /opt/
[root@centos7 opt]# tar zxf ~/hadoop-2.7.3.tar.gz
hadoop目录介绍
[root@centos7 opt]# ls -lrt hadoop-2.7.3/
total 108
drwxr-xr-x 4 root root 31 Aug 18 2016 share
drwxr-xr-x 2 root root 4096 Aug 18 2016 sbin
-rw-r--r-- 1 root root 1366 Aug 18 2016 README.txt
-rw-r--r-- 1 root root 14978 Aug 18 2016 NOTICE.txt
-rw-r--r-- 1 root root 84854 Aug 18 2016 LICENSE.txt
drwxr-xr-x 2 root root 239 Aug 18 2016 libexec
drwxr-xr-x 3 root root 20 Aug 18 2016 lib
drwxr-xr-x 2 root root 106 Aug 18 2016 include
drwxr-xr-x 3 root root 20 Aug 18 2016 etc
drwxr-xr-x 2 root root 194 Aug 18 2016 bin
[root@centos7 opt]#
share:hadoop各个模块的jar包、源码以及文档等
sbin:hadoop的各种运维命令
bin:hadoop的执行命令
libexec:shell配置文件
lib:本地so库
include:头文件
etc:hadoop的各类xml配置文件
本地运行wordcount
WordCount是Hadoop自带的一个统计单次个数的MapReduce程序。
第一步:准备好需要统计的文件
这里直接用etc/hadoop下面的配置文件。
[root@centos7 hadoop-2.7.3]# mkdir input
[root@centos7 hadoop-2.7.3]# cp etc/hadoop/*.xml input
第二步:执行wordcount
[root@centos7 hadoop-2.7.3]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'config[a-z.]+'
第三步:查看统计结果
[root@centos7 hadoop-2.7.3]# cat output/*
17 configuration
3 configuration.xsl
1 configured
[root@centos7 hadoop-2.7.3]#
伪分布式(Pseudo-Distributed)
有守护进程,但全部都运行在同一台机器上,模拟了一个小的集群。
完全分布式(Completely-Distributed)
至少三台及以上服务器 ,Master和Slave分布在不同的服务器上构成一个完整的集群。
高可用集群(HA-Cluster)
至少三台及以上服务器 ,HDFS和YARN都具有高可用的集群。