windows 安装hadoop 配置环境 与eclipse
-
安装JDK1.8,安装路径不能有空格 配置环境变量
-
下载并解压Hadoop-2.7.1,配置Hadoop相应的环境变量
-
copy Hadoop-2.7.1/bin/winutils.exe、hadoop.dll文件到Windows/System32文件夹下
-
修改Hadoop-2.7.1/etc/hadoop/core、hdfs、mapred、yarn-site.xml、hadoop-env.cmd文件中的相关内容
使用editPus (需要去掉备份功能防止生产.bak 文件)- win_core_site.xml
- win_hdfs_site.xml
- win_mapred_site.xml
- win_slaves
- win_yarn-site.xml
6.win_ hadoop-env.cmd - C:\Windows\System32\drivers\etc\hosts
-
.cmd窗口到hadoop的安装目录下的bin文件中hdfs namenode -format进行格式化
(出现successful foramtted ) -
到sbin文件中start-all.cmd启动hadoop服务。
(我的实验出现四个弹窗,有erro为错误,需要检查) -
登录http://localhost:50070/explorer.html#/查看是否成功。 overview 下面的live node的存货最少为1个
-
如果以上失败,需要重新格式化以前的步骤需要清空C:\tool\hadoop-2.7.1下面的datanode和namenode文件。
如果以上步骤成功,接下来安装eclipse环境
- 安装eclipse 拷贝hadoop的两个jar包到eclipse的plugins(eclipse的安装目录)
- 打开Window–>Preferens,可以看到Hadoop Map/Reduc选项,然后点击,然后添加安装hadoop的路 径进来
- 点击Window–>Show View -->MapReduce Tools 点击Map/ReduceLocation,点击Map/ReduceLocation选 项卡,点击右边小象图标,打开Hadoop Location配置窗口: 输入Location Name,任意名称即可.配置 Map/Reduce Master和DFS Mastrer,Host和Port配置成hdfs-site.xml与core-site.xml的设置一致即可。
如果连接成功,会出现hdfs上面的文件夹
总结:
1.JDK的安装路径不要有空格
2. 在path路径里把JAVA_HOME配置到最前面
3.把所有bak文件删除
4.重装JDK,要把所有之前的卸载干净
5.路径是斜杠,在路径之前也要斜杠