本文介绍如何在单机环境下安装配置Hadoop,并运行Word Count示例。
前提
确认已经安装好Java环境,并配置好环境变量。
一、下载Hadoop
1. 去官网下载Hadoop binary,我这里下载的是2.7.5版本,下载完成后解压hadoop-2.7.5.tar.gz到指定的hadoop安装目录。
2. 原版的Hadoop不支持Windows系统,需要搜索下载Hadoop对应版本的Windows运行包(可以到https://github.com/steveloughran/winutils下载,我这里下载的是Hadoop-2.7.1目录)。下载对应版本的winutils后,将其bin目录替换原hadoop目录下的bin。
二、配置环境变量
1. 配置Hadoop环境变量
环境变量中新增HADOOP_HOME,值为Hadoop的安装路径。
修改PATH环境变量,新增%HADOOP_HOME%/bin。
2. 配置Hadoop中JDK路径
在hadoop-2.7.5\etc\hadoop中找到hadoop-env.cmd,右键编辑,修改JAVA_HOME的值为 set JAVA_HOME=E:\Java\jdk1.8.0_101(jdk路径)。
配置完成后,在cmd中输入hadoop version,正确显示hadoop 版本信息,说明安装成功。
三、修改核心配置文件
1. 修改hadoop-2.7.5\etc\ha