下载
去清华镜像网站下载
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/
我下的是3.2.2版本,解压到了L盘
将这两个文件添加到C:windows/System32路径下
或者cdarlint/winutils 找到 3.2.2,下载bin目录的文件,放入/替换 L:\hadoop-3.2.2\bin 文件夹内的文件,特别是要放入hadoop.dll和winutils.exe文件,并复制一份hadoop.dll放到C:\Windows\System32下。
配置hadoop环境变量
把L:\hadoop-3.2.2添加到HADOOP_HOME,并在Path添加 %HADOOP_HOME%\bin 和 %HADOOP_HOME%\sbin 。
打开CMD,输入hadoop -version 测试是否正常显示版本信息。
配置hadoop
切换至目录:L:\hadoop-3.2.2\etc\hadoop 下,
修改core-site.xml:
需在目录L:/hadoop-3.2.2/下创建data文件夹,配置文件中路径前需加“/”。HDFS可使用localhost,如果在hosts文件已经配置了主机映射,也可以直接填主机名这里使用localhost。
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/L:/hadoop-3.2.2/data</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
修改hadoop-env.cmd
set JAVA_HOME=L:\JDK
修改hdfs-site.xml
单节点填1即可,如果是多节点,根据节点数量填写。
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/L:/hadoop-3.2.2/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/L:/hadoop-3.2.2/data/datanode</value>
</property>
</configuration>
修改mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
修改yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hahoop.mapred.ShuffleHandler</value>
</property>
</configuration>
格式化节点
hdfs namenode -format
启动Hadoop
去L:/hadoop-3.2.2/sbin目录
start-all.cmd
PS:如果你不能访问Github可以私聊我