下载所需文件
- JDK下载地址:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
- Hadoop下载地址:http://hadoop.apache.org/#Download+Hadoop
- Windows下安装Hadoop工具下载地址:https://pan.baidu.com/s/1eGra7gKCDbvNubO8UO5rgw 密码:yk9u
JDK安装
https://jingyan.baidu.com/article/6dad5075d1dc40a123e36ea3.html
Hadoop环境配置
- 下载Hadoop,并解压到本地目录,本次下载的版本为Hadoop-2.7.1,解压到E:\hadoop\hadoop-2.7.1
配置Hadoop的环境变量
1.计算机-右键-高级系统设置-高级选项卡-环境变量–单击新建HADOOP_HOME
注意:路径到bin目录下即可
2.Path环境变量下配置【%HADOOP_HOME%\bin】变量
配置Hadoop文件
1.编辑“E:\hadoop\hadoop-2.7.1\etc\hadoop”下的core-site.xml文件
将下列文本粘贴进去,并保存。
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/D:/hadoop/workplace/tmp</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/D:/hadoop/workplace/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
2.编辑“E:\hadoop\hadoop-2.7.1\etc\hadoop”下的mapred-site.xml文件,如果不存在将mapred-site.xml.template重命名为mapred-site.xml)文件,粘贴一下内容并保存。
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
</property>
</configuration>
3.编辑“E:\hadoop\hadoop-2.7.1\etc\hadoop”下的hdfs-site.xml文件,粘贴以下内容并保存。
<configuration>
<!-- 这个参数设置为1,因为是单机版hadoop -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/D:/hadoop/workplace/data</value>
</property>
</configuration>
4.编辑“E:\hadoop\hadoop-2.7.1\etc\hadoop”下的yarn-site.xml文件,粘贴以下内容并保存。
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
5.编辑“E:\hadoop\hadoop-2.7.1\etc\hadoop”目录下的hadoop-env.cmd文件,将JAVA_HOME用 @rem注释掉,编辑为JAVA_HOME的路径,然后保存。
@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=D:\java\jdk
替换文件
将1.3下载到的hadooponwindows-master.zip,解压,将全部bin目录文件替换至hadoop目录下的bin目录。
运行环境
1.运行cmd窗口,执行hdfs namenode -format。
2.运行cmd窗口,切换到hadoop的sbin目录,执行start-all.cmd,它将会启动以下4个进程窗口。
上传测试
根据你core-site.xml的配置,接下来你就可以通过:hdfs://localhost:9000来对hdfs进行操作了。
1.创建输入目录
C:\WINDOWS\system32>hadoop fs -mkdir hdfs://localhost:9000/user/
C:\WINDOWS\system32>hadoop fs -mkdir hdfs://localhost:9000/user/input
2.上传数据到目录
C:\WINDOWS\system32>hadoop fs -put D:\personal\debug.log hdfs://localhost:9000/user/input
C:\WINDOWS\system32>hadoop fs -put D:\personal\waz.txt hdfs://localhost:9000/user/input
3.查看文件
QA常见问题:
1:启动hadoop可能提示找不到JAVA_HOME路径,是因为hadoop读取JAVA_HOME环境变量存在空格导致。
2:启动hadoop提示找不到HADOOP,是因为Hadoop环境变量没有配置好,请检查Hadoop环境变量配置。
hadoop自带的web控制台GUI
1.资源管理GUI:http://localhost:8088/;
2.节点管理GUI:http://localhost:50070/