Windows10系统配置Hadoop

下载

去清华镜像网站下载
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/
我下的是3.2.2版本，解压到了L盘

将这两个文件添加到C：windows/System32路径下

或者cdarlint/winutils 找到 3.2.2，下载bin目录的文件，放入/替换 L:\hadoop-3.2.2\bin 文件夹内的文件，特别是要放入hadoop.dll和winutils.exe文件，并复制一份hadoop.dll放到C:\Windows\System32下。

配置hadoop环境变量

把L:\hadoop-3.2.2添加到HADOOP_HOME，并在Path添加 %HADOOP_HOME%\bin 和 %HADOOP_HOME%\sbin 。

打开CMD，输入hadoop -version 测试是否正常显示版本信息。

配置hadoop

切换至目录：L:\hadoop-3.2.2\etc\hadoop 下，

修改core-site.xml：
需在目录L:/hadoop-3.2.2/下创建data文件夹，配置文件中路径前需加“/”。HDFS可使用localhost，如果在hosts文件已经配置了主机映射，也可以直接填主机名这里使用localhost。

<configuration>
    <property>
      <name>hadoop.tmp.dir</name>
      <value>/L:/hadoop-3.2.2/data</value>
    </property>
    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://localhost:9000</value>
    </property>
</configuration>

修改hadoop-env.cmd
set JAVA_HOME=L:\JDK

修改hdfs-site.xml
单节点填1即可，如果是多节点，根据节点数量填写。

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/L:/hadoop-3.2.2/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/L:/hadoop-3.2.2/data/datanode</value>
    </property>
</configuration>

修改mapred-site.xml

<configuration>
     <property>
      	  <name>mapreduce.framework.name</name>
     	    <value>yarn</value>
    </property>
</configuration>

修改yarn-site.xml

<configuration>
	 <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
	<property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hahoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

格式化节点

hdfs namenode -format

启动Hadoop

去L：/hadoop-3.2.2/sbin目录

start-all.cmd

PS:如果你不能访问Github可以私聊我