本地模式
1.1、步骤
在windows的hadoop目录bin目录有一个winutils.exe
1、在windows下配置hadoop的环境变量
2、拷贝debug工具(winutils.ext)到HADOOP_HOME/bin
3、修改hadoop的源码 ,注意:确保项目的lib需要真实安装的jdk的lib
4、MR调用的代码需要改变:
a、src不能有服务器的hadoop配置文件
b、在调用是使用:
Configuration config = new Configuration();
config.set("fs.defaultFS", "hdfs://TEST:9000");
config.set("yarn.resourcemanager.hostname", "TEST");
Eclipse项目复制出现问题
1、这启动 Eclipse 弹出“Failed to load the JNI shared library jvm.dll”错误的解决方法!
2、The import java.io.IOException cannot be resolved问题
3、windows 环境下Eclipse开发MapReduce环境设置
4、 Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
a、下载hadoop.dll, winutils.exe放在windows中的hadoop安装路径:
b、配置hadoop的环境变量
- c、在代码中添加hadoop路径:
System.setProperty("hadoop.home.dir", "E:\\SetUpDir\\hadoop-2.5.2");