windows安装hadoop3.1.0

1. 准备java环境

在cmd中输入java -version，建议用8，高版本可能不兼容

2. 下载安装hadoop所需文件

hadoop3.1.0安装包：Apache Hadoop，下载解压

Windows环境安装所需的bin：GitHub - s911415/apache-hadoop-3.1.0-winutils: HADOOP 3.1.0 winutils

3. 下载并解压之后的文件

4. 替换hadoop-3.1.0包中的bin文件夹

打开apache-hadoop-3.1.0-winutils-master包下，发现只有个bin文件夹

用这个bin文件夹，替换掉hadoop-3.1.0包里面的bin文件夹

5. 配置hadoop环境变量

新建系统变量，变量名 HADOOP_HOME ，变量值为对应hadoop的安装路径，我的是 D:\software-pro\hadoop\hadoop-3.1.0

然后编辑Path变量，增加 %HADOOP_HOME%\bin

6. 检查环境变量是否配置成功

输入 hadoop version

7. 配置hadoop的配置文件

进入 D:\software-pro\hadoop\hadoop-3.1.0\etc\hadoop 文件夹

  1. 配置core-site.xml文件

在文档最后增加

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:9000</value>
	</property>
	<property>
    <name>hadoop.http.staticuser.user</name>
    <value>hadoop</value>
</property>
</configuration>

 2. 配置mapred-site.xml

在文档最后增加

<configuration>   
	<property>       
	<name>mapreduce.framework.name</name>       
	<value>yarn</value>   
	</property>
</configuration>

3. 配置yarn-site.xml

<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
</configuration>

4. 新建data目录用户后续存放namenode文件夹和datanode文件夹

在安装包里新建data目录

5. 配置hdfs-site.xml

<configuration>
	<property>       
	<name>dfs.replication</name>       
	<value>1</value>   
	</property>   
	<property>       
	<name>dfs.namenode.name.dir</name>       
	<value>file:/D:/software-pro/hadoop/hadoop-3.1.0/data/namenode</value>
	</property>   
	<property>       
	<name>dfs.datanode.data.dir</name>     
	<value>file:/D:/software-pro/hadoop/hadoop-3.1.0/data/datanode</value>
	</property>
	<property>
   <name>dfs.permissions</name>
   <value>false</value>
</property>
</configuration>

• 里面两个文件夹dfs.namenode.name.dir，dfs.datanode.data.dir的值，对应上自己的data目录，注意file：开头
• dfs.permissions是否在HDFS中开启权限检查,默认为true，这里设置成false，确保后续创建文件夹和上传文件有权限

6. 配置hadoop-env.sh

配置jdk路径，注意带上bin

export JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_141\bin

注意：如果jdk路径放在Program File路径下，因为中间有空格，需要换成 PROGRA~1

7. 配置hadoop-env.cmd

配置jdk路径

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_141

8.启动hadoop服务

• 进入D:\software-pro\hadoop\hadoop-3.1.0\bin目录，在cmd窗口执行

hdfs namenode -format

• 双击start-all.cmd

出现4个窗口，注意不要关它

9. 访问页面

打开http://localhost:9870/

10. 问题解决

出现创建文件夹，或者上传文件，权限不足，打开F12，找到接口url上的域名，我这里是 windows10.microdone.cn

最后配置hosts解决