1. eclipse安装
安装JDK,配置环境变量
2. Hadoop安装包(hadoop-2.7.3.tar.gz)解压
在网上找对应Hadoop版本的windows编译版本(hadoop-eclipse-plugin-2.7.3.jar 不是对应版本也可以)复制到eclipse安装目录下的plugins目录中,重启eclipse
打开 window-->preference 就会出现Hadop Map/Reduce,选中后在右侧添加Hadoop的解压路径
3. 导包进行hadoop的java程序编写
完成上述前两个步骤,就可以打开eclipse创建java工程编写hadoop的数据操作
新建java工程,工程名处 右键Build path-->Add Libraries-->user Library
然后 Add External JARs 添加:
1)D:\software\hadoop-2.7.3\share\hadoop\common下的hadoop-common-2.7.3.jar和lib文件夹的所有依赖库
2)D:\software\hadoop-2.7.3\share\hadoop\hdfs下的hadoop-hdfs-2.7.3.jar和lib文件夹的所有依赖库
或者,新建java工程,new-->Folder
4. eclipse写程序从hdfs下载文件到本地时,需要:
1)配置Hadoop的环境变量
2)将winutils.exe(不是对应版本也可)放到 hadoop的解压路径的bin文件夹下
若程序报错:HADOOP_HOME相关的
可在代码序中加入:
System.setProperty("hadoop.home.dir", "D:\\software\\hadoop");//第二个参数为HADOOP_HOME目录
5. Hadoop环境备份----->快照
VMWare虚拟机中,选中Linux,右键 快照--->拍摄快照
后续可用快照恢复环境配置