hadoop
的伪分布模式主要是为了在同一台机器上模拟真实的运行环境,对于开发者,hadoop的伪分布式模式和分布式模式几乎没有区别。
本文是基于windows的配置文件。如果在linux下,需要额外配置ssh无密码登录即可。
配置hadoop
的伪分布式模式需要三步。
第一步配置JDK,下载hadoop并解压(参考单机模式hadoop的配置)
第二步,配置环境变量到系统中
HADOOP_PREFIX=你的hadoop解压目录
第三步,修改hadoop配置文件
- 修改${HADOOP_HOME}/etc/hadoop/core-site.xml
<!-- 指定namenode地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://127.0.0.1:9000</value>
</property>
- 修改${HADOOP_HOME}/etc/hadoop/hdfs-site.xml
<!-- 指定文件备份个数 -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
至此,hadoop伪分布式模式以配置完成。准备启动hadoop。
先格式化hdfs。执行如下命令格式化hdfs:
${HADOOP_HOME}/bin/hdfs.bat namenode -format
启动hdfs:
${HADOOP_HOME}/sbin/start-dfs.bat
此时可通过http://localhost:50070
查看hdfs
启动yarn(mapreduce):
${HADOOP_HOME}/sbin/start-yarn.bat
可通过http://localhost:8088
查看yarn
全文完。