windows10安装hadoop3.0.2

1、下载hadoop和winutils

https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/

https://github.com/steveloughran/winutils（windows安装需要）

下载相关工具类，直接解压后把文件丢到D:\jyd\bigdata\hadoop-3.0.2\bin目录中去，将其中的hadoop.dll在c:/windows/System32下也丢一份；

配置环境变量HADOOP_HOME中，在PATH里加上%HADOOP_HOME%\bin；

 

2、配置

java 路径不能有空格，采用以下配置方式或者没有空格的目录

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_172

 

去D:\jyd\bigdata\hadoop-3.0.2\etc\hadoop找到下面4个文件并按如下最小配置粘贴上去：

core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

hdfs-site.xml（注意permissions的配置）

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value> </property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>/D:/hadoop/data/dfs/namenode</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/D:/hadoop/data/dfs/datanode</value>

</property>

</configuration>

mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property> </configuration>

yarn-site.xml

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

</configuration>

 

3、开启hadoop

以下命令均以管理员的权限执行

进入bin目录执行 hadoop namenode -format

 

cd ..\sbin

 

start-all.cmd

 

jps查看进程

 

HDFS应用

1、通过http://127.0.0.1:8088/即可查看集群所有节点状态：

2、访问http://localhost:9870/即可查看文件管理页面：

• 进入文件管理页面：

Note：在之前的版本中文件管理的端口是50070，在3.0.0中替换为了9870端口，具体变更信息来源如下官方说明

http://hadoop.apache.org/docs/r3.0.0/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html#Web_Interface