Hadoop伪分布式模式环境搭建

hadoop的伪分布模式主要是为了在同一台机器上模拟真实的运行环境，对于开发者，hadoop的伪分布式模式和分布式模式几乎没有区别。

本文是基于windows的配置文件。如果在linux下，需要额外配置ssh无密码登录即可。

---

配置hadoop的伪分布式模式需要三步。

第一步配置JDK，下载hadoop并解压（参考单机模式hadoop的配置）

第二步，配置环境变量到系统中

HADOOP_PREFIX=你的hadoop解压目录

第三步，修改hadoop配置文件

• 修改${HADOOP_HOME}/etc/hadoop/core-site.xml

<!-- 指定namenode地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://127.0.0.1:9000</value>
</property>

• 修改${HADOOP_HOME}/etc/hadoop/hdfs-site.xml

<!-- 指定文件备份个数 -->
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

至此，hadoop伪分布式模式以配置完成。准备启动hadoop。

---

先格式化hdfs。执行如下命令格式化hdfs：

${HADOOP_HOME}/bin/hdfs.bat namenode -format

启动hdfs：

${HADOOP_HOME}/sbin/start-dfs.bat
此时可通过http://localhost:50070查看hdfs

启动yarn（mapreduce）:

${HADOOP_HOME}/sbin/start-yarn.bat
可通过http://localhost:8088查看yarn

全文完。