Hadoop环境搭建Hadoop本地模式安装
Hadoop部署模式
Hadoop部署模式有:本地模式、伪分布模式、完全分布式模式。
区分的依据是NameNode、DataNode、ResourceManager、NodeManager等模块运行在几个JVM进程、几个机器。
一、本地模型部署
1.本地模式介绍
本地模式是最简单的模式,所有模块都运行与一个JVM进程中,使用的本地文件系统,而不是HDFS,本地模式主要是用于本地开发过程中的运行调试用。下载hadoop安装包后不用任何设置,默认的就是本地模式。
2.解压hadoop后就是直接可以使用
(1) 创建一个存放本地模式hadoop的目录
[hadoop@hadoop modules]$ mkdir /opt/modules/hadoopstandalone
(2) 解压hadoop文件
[hadoop@hadoop modules]$ tar -zxvf /opt/sofeware/hadoop-2.5.0.tar.gz -C /opt/modules/hadoopstandalone/
(3) 确保JAVA_HOME环境变量已经配置好
[hadoop@hadoop modules]$ echo ${JAVA_HOME}
/opt/modules/jdk1.8
二、运行MapReduce程序,验证
我们这里用hadoop自带的wordcount例子来在本地模式下测试跑mapreduce。
1、 准备mapreduce输入文件wc.input
[hadoop@hadoop modules]$ cat /opt/data/wc.input
hadoop mapreduce hive
hbase spark storm
sqoop hadoop hive
spark hadoop
2、 运行hadoop自带的mapreduce Demo
[hadoop@hadoop hadoopstandalone]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /opt/data/wc.input output2
这里可以看到job ID中有local字样,说明是运行在本地模式下的。
3、 查看输出文件
本地模式下,mapreduce的输出是输出到本地。
[hadoop@bigdata-senior01 hadoopstandalone]$ ll output2
total 4
-rw-r--r-- 1 hadoop hadoop 60 Jul 7 12:50 part-r-00000
-rw-r--r-- 1 hadoop hadoop 0 Jul 7 12:50 _SUCCESS
输出目录中有_SUCCESS文件说明JOB运行成功,part-r-00000是输出结果文件。