Hadoop配置详解

Hadoop配置

一、Hadoop集群模式：
     Hadoop集群共有三种模式：
1、单机模式（Standalone）
2、伪分布式模式（Pseudo-distributed）
3、完全分布式模式（Fully distributed）

二、三种模式的具体配置        

Component	Property	Standalone	Pseudo-distributed	Fully distributed
Core	fs.default.name	file:///	hdfs://localhost/	hdfs://namenode/
HDFS	dfs.replication	N/A	1	3
MapReduce	mapred.job.tracker	local	localhost:8021	jobtracker:8021

例如：Pseudo-distributed（伪分布式模式）配置

<!-- core-site.xml -->
<?xml version="1.0"?>
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost/</value>
</property>
</configuration>

<!-- hdfs-site.xml -->
<?xml version="1.0"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</configuration>

<!-- mapred-site.xml -->
<?xml version="1.0"?>
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:8021</value>
</property>
</configuration>

单机模式只需对照上表配置三个文件(conf/core-site.xml,conf/hdfs-site.xml,conf/mapred-site.xml)即可.请你先测试一下单机模式，祝你好运！

三、伪分布式模式配置SSH

 1、安装ssh

      % sudo apt-get install ssh

 2、确保ssh无密码登录

      % ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa   

 3、测试ssh

      % ssh localhost

  4、格式化HDFS文件系统

      % hadoop namenode -format       

  5、启动HDFS和MapReduce线程

       % start-dfs.sh

       % start-mapred.sh

 6、终止HDFS和MapReduce线程

      % stop-dfs.sh
      % stop-mapred.sh

 7、所有访问的文件需上传到HDFS文件系统，具体操作详见四。

四、伪分布式模式与全分布式模式需运行在HDFS文件系统

1、格式化HDFS文件系统

    hadoop namenode -format

2、上传资料到HDFS

    hadoop fs -put localsrc dest

3、浏览HDFS文件系统目录

     hadoop fs -ls

4、查看HDFS文件系统文件内容

    hadoop fs -cat filename

5、从HDFS文件系统下载文件

    hadoop fs -get dest localdest

6、帮助

    hadoop fs -help

7、删除文件

     hadoop fs -rm file