在开始配置前,我们先了解Hadoop的三种运行模式。
Hadoop的三种运行模式
- 独立(或本地)模式:无需运行任何守护进程,所有程序都在同一个JVM上执行。在独立模式下测试和调试MapReduce程序很方便,因此该模式在开发阶段比较适合。
- **伪分布式模式:**Hadoop守护进程运行在本地机器上,模拟一个小规模的集群。
- **全分布式模式:**Hadoop守护进程运行在一个集群上。
下面我们进入正题,即如何在Windows 7上搭建Hadoop伪分布式环境。
- 安装JDK,设置环境变量。
首先,在控制面板上查看自己的操作系统是32位还是64位。
然后,检查自己的电脑上是否已经具备Java环境。步骤如下:
1)Ctrl+R
2)cmd
3)输入java -version,若正常显示java版本,证明本机已安装java环境,跳到步骤2.若显示“不是内部或外部命令”,则需要安装JDK,继续步骤4)
4) 安装JDK,楼主用的是jdk-8u131-windows-x64.exe,因为不允许重复上传CSDN资源,所以楼主无法提供给大家,可以自行下载。说明:只需安装JDK,不需要安装JRE。
5)配置Java环境变量,配置路径:计算机(右键)–属性–高级系统设置—高级–环境变量。
在系统变量处新建,变量名:JAVA_HOME;变量值:你安装JDK的位置,楼主的是D:\Tools\jdk
修改path:在原有的那串变量值后增加%JAVA_HOME%\bin;…
6)测试Java环境
在cmd窗口:
测试Java环境:
echo %JAVA_HOME%
echo %path%
path
java -version
javac -version - 下载Hadoop 2.7.7,这个楼主传了资源,诚信赚分,哈哈(https://download.csdn.net/download/u013159040/10620584)
下载,解压到某个文件夹,如D:\Tools\Hadoop - 下载window util for hadoop。为了配合hadoop 2.7.7,楼主也上传了资源(https://download.csdn.net/download/u013159040/10620589),下载后解压到hadoop2.7.7的bin目录下,直接覆盖该目录下的所有内容。请注意此util与具体的hadoop版本是有关的,如果选用不同的hadoop版本,需要找到正确的util。
- 添加Hadoop环境变量,参考Java的,新建HADOOP_HOME 变量名同样是自己存放hadoop的位置,如D:\Tools\Hadoop\hadoop-2.7.7, 并添加path路径:%HADOOP_HOME%\bin
创建nodename和datanode目录,用来保存数据,如:
d:\tools\hadoop\data\namenode
d:\tools\hadoop\data\datanode在D:\Tools