记录一下Hadoop在Windows 10上的部署过程和一些小问题。
环境版本
java:jdk1.8.0_111
Hadoop: hadoop-2.7.3
配置Hadoop前需要配置java的环境,网上教程很多,在此不再详述。
文件下载
1.下载Hadoop的部署包(非src源码包)并解压。
2.下载hadoop在windows上运行所需的bin包。2.7.3版本的hadoop可至如下链接下载。如果其他版本,可以尝试在github上搜索“hadoop win”看有没有大神分享。
https://github.com/rucyang/hadoop.dll-and-winutils.exe-for-hadoop2.7.3-on-windows_X64
3.将下完的压缩包解压,将bin中的文件复制到hadoop-2.7.3目录下的bin目录中。
4.添加环境变量HADOOP_HOME,对应路径为Hadoop的解压后的目录(比如D:\envpath\hadoop-2.7.3)。
5.在环境变量Path中添加%HADOOP_HOME%\bin和%HADOOP_HOME%\sbin。
配置文件的修改
配置引自https://blog.csdn.net/tornadojava/article/details/56013420。
etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000<