Hadoop2.7.6在Windows7单机部署

https://blog.csdn.net/zhongjunlang/article/details/80812669

 

1、配置jdk1.8 不要安装在空格的目录中，你会发现hadoop和spark不支持有空格的目录配置(敲黑板！！)所以我自己新建了一个文件夹安装jdk，自行下载安装，配置略；

 

2、hadoop2.7.6下载并配置：

下载地址：https://download.csdn.net/download/dopamy_busymonkey/10970409

解压后配置环境变量：

HADOOP_HOME:D:\Soft\hadoop-2.7.6
PATH里面添加上：;%HADOOP_HOME%\bin;

 

3、配置hadoop文件：

core-site.xml

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/D:/Soft/hadoop-2.7.6/workplace/tmp</value>
<description>namenode上本地的hadoop临时文件夹</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
<description>HDFS的URI，文件系统://namenode标识:端口号</description>
</property>
</configuration>

hdfs-site.xml

<configuration>
<!-- 这个参数设置为1，因为是单机版hadoop -->
<property>
<name>dfs.replication</name>
<value>1</value>
<description>副本个数，配置默认是3,应小于datanode机器数量</description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/D:/Soft/hadoop-2.7.6/workplace/data</value>
<description>datanode上数据块的物理存储位置</description>
</property>
<property>
<name>dfs.name.dir</name>
<value>/D:/Soft/hadoop-2.7.6/workplace/name</value>
<description>namenode上存储hdfs名字空间元数据 </description>
</property>
</configuration>

mapred-site.xml：没有就将mapred-site.xml.template重命名为mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
</property>
</configuration>

yarn-site.xml

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

修改Hadoop调jdk的环境变量：

 

4、替换bin目录文件

将该编译好的bin目录，替换掉你的hadoop中的bin目录，

下载地址：https://download.csdn.net/download/dopamy_busymonkey/10970405

 

5、格式化：

 

6、启动，切换到hadoop的sbin目录：

 

7、访问地址：

web控制台资源管理GUI ：http://localhost:8088/

web控制台节点管理GUI：http://localhost:50070/