Hadoop本地环境搭建

一、准备工作

• 先在windows上下载并安装好java1.8，并配置其环境变量。
• 本次搭建是已jdk1.8+hadoop2.7.5进行的测试，其他环境未进行测试。
• 该环境适用于本地spark本地测试以及hadoop中mapReduce的本地开发测试。

二、正文

1. 解压目录中的01-hadoop-2.7.5.tar.gz安装包，将其放入自己的安装路径
2. 解压目录中的02-bin.7z压缩包，将解压后的bin中的文件复制到hadoop-2.7.5安装目录的bin中（相同的文件可以不覆盖），双击bin文件夹下的winutils.exe
   • 如果双击winutils.exe报错，那么将03-其他 中的msvcr120.dll文件拷贝到C:\\Windows\\System32目录下。
   • 如果双击winutils.exe依然报错，安装03-其他 中的Microsoft Visual C++_2010_x64.exe。
3. 配置环境变量

• 配置HADOOP_HOME

• 修改Path变量 ，添加%HADOOP_HOME%\bin

• 新建HADOOP_USER_NAME

三、错误解决

•  出现null/bin/winutils.exe错误，解决方案

        (1)先检查环境变量是否配置正确

        (2)如果环境变量配置正确IDEA重启之后，依然报错，在Driver类中添加代码

• 出现NativeIO$Windows错误，解决方案

        (1)先检查环境变量是否配置正确

        (2)如果环境变量配置正确且IDEA重启之后 依然报错，那么将Hadoop解压目录下的 bin目录中的hadoop.dll文件复制C:/Windows/System32目录下

        (3)如果上述方案依然不能解决，就需要将 03-其他 中NativIO.java文件复制到当前工程下，建好对应的package。

四、其他

• 个人测试下hadoop2.7.5需要的微软运行库的版本是Microsoft Visual C++ 2010 x64，若安装后双击winutils.exe依然报错，可以试试安装下03-其他 中的微软常用运行库集合.exe，或者网上下载下其它类库。
• 上述提到文件均可通过官网或其他地方下载,为了方便,chdn也整理了一份,安装包已上传到https://download.csdn.net/download/sinat_34974437/19966900