Hadoop集群共有三种模式:
1、单机模式(Standalone)
2、伪分布式模式(Pseudo-distributed)
3、完全分布式模式(Fully distributed)
二、三种模式的具体配置
Component | Property | Standalone | Pseudo-distributed | Fully distributed |
Core | fs.default.name | file:/// | hdfs://localhost/ | hdfs://namenode/ |
HDFS | dfs.replication | N/A | 1 | 3 |
MapReduce | mapred.job.tracker | local | localhost:8021 | jobtracker:8021 |
例如:Pseudo-distributed(伪分布式模式)配置
<!-- core-site.xml -->
<?xml version="1.0"?>
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost/</value>
</property>
</configuration>
<!-- hdfs-site.xml -->
<?xml version="1.0"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</configuration>
<!-- mapred-site.xml -->
<?xml version="1.0"?>
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:8021</value>
</property>
</configuration>
单机模式只需对照上表配置三个文件(conf/core-site.xml,conf/hdfs-site.xml,conf/mapred-site.xml)即可.请你先测试一下单机模式,祝你好运!
三、伪分布式模式配置SSH
1、安装ssh
% sudo apt-get install ssh
2、确保ssh无密码登录
% ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
3、测试ssh
% ssh localhost
4、格式化HDFS文件系统
% hadoop namenode -format
5、启动HDFS和MapReduce线程
% start-dfs.sh
% start-mapred.sh
6、终止HDFS和MapReduce线程
% stop-dfs.sh
% stop-mapred.sh
7、所有访问的文件需上传到HDFS文件系统,具体操作详见四。
四、伪分布式模式与全分布式模式需运行在HDFS文件系统
1、格式化HDFS文件系统
hadoop namenode -format
2、上传资料到HDFS
hadoop fs -put localsrc dest
3、浏览HDFS文件系统目录
hadoop fs -ls
4、查看HDFS文件系统文件内容
hadoop fs -cat filename
5、从HDFS文件系统下载文件
hadoop fs -get dest localdest
6、帮助
hadoop fs -help
7、删除文件
hadoop fs -rm file