windows10下配置hadoop2.8.5超详细过程
初学hadoop,在windows10下学着配置hadoop,由于hadoop是运行在linux下的,在win10配置有许多问题需要注意。在此,记录如下,供大家学习时参考。
坚持写详细的教程,记录学习中的喜悦。
文章一览
一.配置Java环境
1.下载jdk包
在java官网https://www.oracle.com/java/technologies/javase-downloads.html下载jdk包
选择下载jdk8.在jdk8中已经有jre了,因此不需要单独下载jre。
下载好之后,解压到文件夹,特别注意,文件夹路径千万不要有中文或者是空格,不然在配置hadoop的时候会出错。
在这里,我下载到了 D:\software\java
2.配置jdk环境
鼠标右键 我的电脑 ->> 单击属性 ->>单击左侧高级系统设置 ->>单击 环境变量
这里,配置方法有2种。
方法一:在系统环境变量Path中添加之前解压的java的bin目录的路径即可
方法二:
-
新建一个系统变量
JAVA_HOME
,值为D:\software\java
-
在path中添加: %JAVA_HOME%\bin
3.验证java环境
同时按下win
+R
打开cmd,测试java是否配置成功
分别输入java
,javac
看是否报错
出现了以上截图的结果,说明配置成功
【注意】
这个时候可能会遇到输入java正常,但是输入javac没有正常输出,这个时候去检查一下有没有javac.exe.很可能是因为java虚拟机缺失,导致javac没法儿用
二.hadoop配置
1.下载hadoop
下载 hadoop https://archive.apache.org/dist/hadoop/common/。选择需要的版本进行下载
用这个网页也可以 http://hadoop.apache.org/releases.html
选择下载binary,下面的两个链接都可以
2.解压压缩包
把这个压缩包解压,目录路径不要有中文或者空格,以免报错
在此,我解压到了D:\software\hadoop-2.8.5
3.替换bin文件夹
下载winutils,这个是别人编译好的hadoop的windows版本二进制文件,https://github.com/cdarlint/winutils 这个链接的winutils比较全。下载好之后,解压,选择对应的版本,把bin文件夹给覆盖
4.配置Hadoop的环境
在系统环境变量中添加 HADOOP_HOME,值为hadoop的路径,即D:\software\hadoop-3.2.1
在path中添加如下内容:
%HADOOP_HOME%\bin
%HADOOP_HOME%\sbin
配置环境变量的好处是不管在哪个文件夹,都可以使用hadoop的这些命令
5.创建三个文件夹
在D:\software\hadoop-2.8.5\
下创建一个文件夹workspace,在这个文件夹下创建3个文件夹,分别是data,name,tmplate
【注意!】这里的文件夹名字可以随意取,但是要在配置文件中配置正确。
6.修改hadoop配置文件(5个)
6.1修改D:\software\hadoop-2.8.5\etc\hadoop\core-site.xml
<configuration>
<property