Ubuntu上安装HADOOP单机伪分布式集群

1、新建用户和组

addgroup hadoop

adduser --ingroup hadoop hadoop

注销root以hadoop用户登录

 

2、配置SSH

ssh-keygen -t rsa（密码为空，路径默认）

cp .ssh/id_rsa.pub .ssh/authorized_keys

 

3、准备HADOOP运行环境

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.1.2/hadoop-1.1.2.tar.gz

tar -xzvf hadoop-1.1.2.tar.gz

在/home/hadoop/.bashrc 中追加：

export  PATH=/home/hadoop/hadoop-1.1.2/bin:$PATH

重新登录就生效

ssh localhost

which hadoop

 

4、配置HADOOP运行参数

vi conf/core-site.xml 

Xml代码  

1. 1. <span style="font-size: 18px;"><property>  
   2. <name>fs.default.name</name>  
   3. <value>hdfs://localhost:9000</value>  
   4. </property>  
   5. <property>  
   6. <name>hadoop.tmp.dir</name>  
   7. <value>/home/hadoop/tmp</value>  
   8. </property>  
   9. </span>  

 vi conf/hdfs-site.xml 

Xml代码  

1. 1. <span style="font-size: 18px;"><property>  
   2.  <name>dfs.name.dir</name>  
   3.  <value>/home/hadoop/dfs/filesystem/name</value>  
   4. </property>  
   5. <property>  
   6.  <name>dfs.data.dir</name>  
   7.  <value>/home/hadoop/dfs/filesystem/data</value>  
   8. </property>  
   9. <property>  
   10.   <name>dfs.replication</name>  
   11.  <value>1</value>  
   12. </property>  
   13. </span>  

 vi conf/mapred-site.xml

Java代码  

1. 1. <span style="font-size: 18px;"><property>  
   2.  <name>mapred.job.tracker</name>  
   3.  <value>localhost:9001</value>  
   4. </property>  
   5. <property>  
   6.  <name>mapred.tasktracker.map.tasks.maximum</name>  
   7.  <value>4</value>  
   8. </property>  
   9. <property>  
   10.  <name>mapred.tasktracker.reduce.tasks.maximum</name>  
   11.  <value>4</value>  
   12. </property>  
   13. <property>  
   14.  <name>mapred.system.dir</name>  
   15.  <value>/home/hadoop/mapreduce/system</value>  
   16. </property>  
   17. <property>  
   18.  <name>mapred.local.dir</name>  
   19.  <value>/home/hadoop/mapreduce/local</value>  
   20. </property>  
   21. </span>  

 

5、格式化名称节点并启动集群

hadoop namenode -format

 

6、启动集群并查看WEB管理界面

start-all.sh

访问http://localhost:50030可以查看 JobTracker 的运行状态

访问http://localhost:50060可以查看 TaskTracker 的运行状态

访问http://localhost:50070可以查看 NameNode 以及整个分布式文件系统的状态，浏览分布式文件系统中的文件以及 log 等

 

7、停止集群

stop-all.sh停止集群