hadoop2.7.3-windows下开发环境搭建
1、目的
在windows操作系统上不依赖cygwin运行hadoop2.7.3;并通过eclipse进行本机调试。
2、准备工作
(1)、
从hadoop 官方网站上下载的hadoop2.7.3压缩包
(2)、
官网上的hadoop2.7.3安装包缺少 在windows下运行所必须的.dll 动态库文件,这个压缩包是.dll动态库文件,需要拷贝到\hadoop-2.7.3\bin 。
3、部署配置
3.1、解压缩 hadoop-2.7.3到磁盘根目录下
3.2、拷贝动态库
将
里面bin目录下的所有文件拷贝到\hadoop-2.7.3\bin 。
3.3、配置hadoop的JAVA_HOME
\hadoop-2.7.3\etc\hadoop\hadoop-env.cmd
如果jdk安装在 Program Files 目录下,则必须使用转义处理。
C:\Program Files\Java == 》 C:\PROGRA~1\Java
3.4、配置core-site.xml的hdfs
3.5、格式化hdfs存储
F:\hadoop\hadoop-2.7.3\bin hdfs namenode -format
3.6、启动hadoop
F:\hadoop\hadoop-2.7.3\sbin start-all.cmd
4、eclipse配置
4.1、安装eclipse-hadoop-plugin
将 拷贝到
4.2、设置hadoop本地目录
第一步操作完成后,重启eclipse,配置hadoop本地目录
4.3、创建hadoop服务器连接
至此,完成所有操作 !
5、常见错误
5.1、创建hadoop服务器连接错误
这种情况下,如果配置参数无误,则无需管他。
5.2、执行hadoop程序报错
Exception in thread "main"
java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
这个错误是由于windows的访问权限校验引起的。处理方式:
(1)、下载hadoop源码
(2)、将下图中的类拷贝到自己的hadoop项目中
拷贝到项目中目录如下:
(3)、按照上面的错误提示,修改对应的代码