hadoop2.7.3-windows下开发环境搭建

hadoop2.7.3-windows下开发环境搭建

1、目的

在windows操作系统上不依赖cygwin运行hadoop2.7.3；并通过eclipse进行本机调试。

2、准备工作

（1）、

 从hadoop 官方网站上下载的hadoop2.7.3压缩包

（2）、

官网上的hadoop2.7.3安装包缺少 在windows下运行所必须的.dll 动态库文件，这个压缩包是.dll动态库文件，需要拷贝到\hadoop-2.7.3\bin 。

3、部署配置

3.1、解压缩 hadoop-2.7.3到磁盘根目录下

3.2、拷贝动态库

将  里面bin目录下的所有文件拷贝到\hadoop-2.7.3\bin 。

3.3、配置hadoop的JAVA_HOME

\hadoop-2.7.3\etc\hadoop\hadoop-env.cmd

 

如果jdk安装在 Program Files 目录下，则必须使用转义处理。

C:\Program Files\Java      == 》       C:\PROGRA~1\Java

3.4、配置core-site.xml的hdfs

 

3.5、格式化hdfs存储

F:\hadoop\hadoop-2.7.3\bin      hdfs   namenode  -format  

3.6、启动hadoop

F:\hadoop\hadoop-2.7.3\sbin        start-all.cmd  

4、eclipse配置

4.1、安装eclipse-hadoop-plugin

将 拷贝到 

4.2、设置hadoop本地目录

第一步操作完成后，重启eclipse，配置hadoop本地目录

 

4.3、创建hadoop服务器连接

     

 

   

    至此，完成所有操作 ！

 

5、常见错误

5.1、创建hadoop服务器连接错误

这种情况下，如果配置参数无误，则无需管他。

 

5.2、执行hadoop程序报错

Exception in thread "main"

java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

 

 

这个错误是由于windows的访问权限校验引起的。处理方式：

（1）、下载hadoop源码

（2）、将下图中的类拷贝到自己的hadoop项目中

 

拷贝到项目中目录如下：

 

（3）、按照上面的错误提示，修改对应的代码