Win10搭建Hadoop环境

Win10系统配置hadoop环境

我这里就以hadoop-2.7.3为例子给大家演示，下载链接：https://pan.baidu.com/s/13wemSDNyx5_7qJdGgpjc7A 提取码：idxi ，如需下载其他版本，请访问https://archive.apache.org/dist/hadoop/common/或https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/
****进行下载

JDK环境配置

1、我使用的是jdk1.8.0_102版本，链接：https://pan.baidu.com/s/1MJ-18clvvEAQ_0j-bMK5wQ 提取码：z833

2、不建议安装在C:Program Files下的默认路径。安装完成后，对jdk环境进行配置。
（1）鼠标右键点击“这台电脑”→“属性”→“高级系统设置”→“环境变量”→“系统变量”→“新建”，如下图所示：

（2）接着找系统境变量Path，将%JAVA_HOME%in添加进去，如图下所示：

Hadoop环境配置

1、将下载好的压缩包解压到磁盘根目录下。

2、鼠标右键点击“这台电脑”→“属性”→“高级系统设置”→“环境变量”→“系统变量”→“新建”，如下图所示：

3、接着找系统境变量Path，将 %HADOOP_HOME%in;%HADOOP_HOME%sbin 添加进去，如图下所示：

4、拷贝动态库，hadoop.dll拷贝到C盘Windowssystem32目录下与%HADOOP_HOME%sbin目录下。目录下有就不用拷贝，要是缺少文件可在百度上面进行下载。

Hadoop核心组件配置

1、打开hadoop-2.7.0etchadoop文件夹里的hadoop-env.cmd文件，找到set JAVA_HOME；然后配置jdk路径，如图所示：

2、打开hadoop-2.7.0etchadoop文件夹里的hadoop-env.sh文件，找到export JAVA_HOME；然后配置jdk路径，如图所示：

3、在hadoop-2.7.0etchadoop中找到以下几个文件。
core-site.xml

<configuration>
	<property>       
		<name>fs.defaultFS</name>       
		<value>hdfs://localhost:9000</value>   
	</property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>/F:/hadoop-2.7.3/namenode</value>            // 路径不唯一  
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>/F:/hadoop-2.7.3/datanode</value>            // 路径不唯一
    </property>
</configuration>

mapred-site.xml 如果文件名为“mapred-site.xml.template”，请把后面“.template”去掉即可。

<configuration>   
	<property>       
		<name>mapreduce.framework.name</name>       
		<value>yarn</value>   
	</property>
</configuration>

yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

格式化与启动Hadoop服务

1、在F:hadoop-2.7.3in目录下，地址栏输入cmd，进入后输入hdfs namenode -format或hadoop namenode -format，如下图所示：

2、然后进入sbin目录，命令cd …sbin，输入start-all.cmd,启动后输入jps查看进程，如下图所示：

3、在浏览器里面验证，注意cmd弹窗不要关闭。验证地址：http://localhost:8088、http://localhost:50070


4、如果你做到这里了，恭喜你，完成了！