文章参考:符智生:10分钟搞定Windows环境下hadoop安装和配置
1.下载Hadoop
挂载VPN,登陆Apache公共软件档案馆
http://archive.apache.org/dist/
由于该页面仅提供当前最新的软件版本,所以若需要旧版本软件,需要点击右上
之后Hadoop/common就可找到Hadoop3.0.0
http://archive.apache.org/dist/hadoop/common/
下载
2.解压并配置
部分解压软件需要采用使用管理员运行的方式才可正常解压(Bandizip)
下载https://github.com/4ttty/winutils winutils包,使用对应版本的bin文件夹替换Hadoop文件夹内的bin文件夹
2.1 配置Hadoop环境变量
配置Java环境变量
新建变量名:JAVA_HOME
输入路径:D:\Softwares\jdk1.8.0_012 (这里是以我的jdk地址为例,请根据自己的jdk地址来设置)
在path中最前面加上:%JAVA_HOME%\bin;
配置Hadoop环境变量
新建变量名:HADOOP_HOME
输入路径:D:\hadoop
在path中最前面加上:%HADOOP_HOME%\bin;
2.2 在Hadoop中配置Java变量
在Hadoop文件夹下,\etc\hadoop找到hadoop-env.cmd
右键用一个文本编辑器打开
找到 set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8
将C:\PROGRA~1\Java\jdk1.7.0_67 改为 D:\Softwares\jdk1.8(在环境变量设置中JAVA_HOME的值)
(如果路径中有“Program Files”,则将Program Files改为 PROGRA~1
以上操作完成,在命令提示符界面输入 Hadoop version,就会显示Hadoop版本信息,否则重新配置
2.3 核心配置
在etc/hadoop/找到并复制粘贴以下内容,配置以下几个文件
core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
hdfs-site.xml 请注意需要建立data 文件夹和两个子文件夹,本例子是建立在 HADOOP_HOME的目录里
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/D:/hadoop/namenode</value> 该部分根据自己的namenode文件夹位置配置
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/D:/hadoop/datanode</value> 该部分根据自己的datanode文件夹位置配置
</property>
</configuration>
yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
3.启动服务
创建三个文件夹
D:/hadoop/tmp
D:/hadoop/namenode
D:/hadoop/datanode
格式化 HDFS
以管理员身份打开命令提示符
输入hdfs namenode -format执行到如下图所示
格式化之后,namenode文件里会自动生成一个current文件,则格式化成功。
然后转到Hadoop-2.7.3\sbin文件下
输入start-all.cmd,启动hadoop服务
本步一定要仔细,保证不报错才可正常
输入JPS – 可以查看运行的所有服务 (前提是java路径设置正确)