Linux(CentOS)下伪分布模式安装Hadoop

一、下载  
下载地址： http://apache.etoak.com/hadoop/common/  
打开会发现不同版本，我这里选择的是：hadoop-1.0.3.tar.gz 
下载位置到：/data/software 

二、安装  
利用命令tar解压缩安装，解压结果如下： 

Shell代码 

1. [root@SC-026 ~]# cd /data/software/  
2. [root@SC-026 software]# tar xvf hadoop-1.0.3.tar.gz  

如果JAVA_HOME环境变量已经指向一个java安装，则不需要进行配置。 

Shell代码 

1. [root@SC-026 software]# echo $JAVA_HOME  
2. /usr/java/jdk1.7.0_01  

否则，编辑../conf/hadoop-env.sh文件来设置JAVA_HOME变量 

Shell代码 

1. [root@SC-026 software]# cd hadoop-1.0.3/conf  
2. [root@SC-026 conf]# vim hadoop-env.sh   

本机中是如下编辑： 

Shell代码 

1. export JAVA_HOME=/usr/java/jdk1.7.0_01  
2. export HADOOP_HOME=//data/software/hadoop-1.0.3  
3. export PATH=$PATH:$HADOOP_HOME/bin  

:wq保存，退出。 

三、配置  
Hadoop的各个组件均可利用xml文件配置。 
core-site.xml: 用于配置Common组件的属性； 
hdfs-site.xml: 用于配置HDFS属性； 
mapred-site.xml: 用于配置MapReduce属性。 
这些配置文件都在以下路径中： 

Shell代码 

1. [root@SC-026 conf]# ls  
2. capacity-scheduler.xml  hadoop-env.sh~              mapred-site.xml  
3. configuration.xsl       hadoop-metrics2.properties  masters  
4. core-site.xml           hadoop-policy.xml           slaves  
5. core-site.xml~          hdfs-site.xml               ssl-client.xml.example  
6. fair-scheduler.xml      log4j.properties            ssl-server.xml.example  
7. hadoop-env.sh           mapred-queue-acls.xml       taskcontroller.cfg  

通过vim依次打开3个文件，配置如下： 

Xml代码 

1. [root@SC-026 conf]# vim core-site.xml  
2. <?xml version="1.0"?>  
3. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
4.   
5. <!-- Put site-specific property overrides in this file. -->  
6.   
7. 
   
8. <configuration>  
9.         <property>  
10.                 <name>fs.default.name</name>  
11.                 <value>hdfs://localhost</value>  
12.         </property>  
13. </configuration>  

Xml代码 

1. [root@SC-026 conf]# vim hdfs-site.xml   
2. <?xml version="1.0"?>  
3. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
4.   
5. <!-- Put site-specific property overrides in this file. -->  
6.   
7. <configuration>  
8.         <property>  
9.                 <name>dfs.replication</name>  
10.                 <value>1</value>  
11.         </property>  
12. </configuration>  

Xml代码 

1. [root@SC-026 conf]# vim mapred-site.xml   
2. <?xml version="1.0"?>  
3. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
4.   
5. <!-- Put site-specific property overrides in this file. -->  
6.   
7. <configuration>  
8.         <property>  
9.                 <name>mapred.job.tracker</name>  
10.                 <value>localhost:8021</value>  
11.         </property>  
12. </configuration>  

四、配置SSH  
如本机中未安装，直接利用以下命令安装： 

Shell代码 

1. [root@SC-026 conf]#yum install ssh  

启用无密码登录，输入以下命令直接回车即可： 

Shell代码 

1. [root@SC-026 conf]# ssh-keygen -t dsa  
2. Generating public/private dsa key pair.  
3. Enter file in which to save the key (/root/.ssh/id_dsa):   
4. Enter passphrase (empty for no passphrase):   
5. Enter same passphrase again:   
6. Your identification has been saved in /root/.ssh/id_dsa.  
7. Your public key has been saved in /root/.ssh/id_dsa.pub.  
8. The key fingerprint is:  
9. 4d:f1:da:e9:a4:80:4f:c2:32:d5:f8:94:55:32:70:cb root@SC-026.cfind.com  

连接本机，测试无需输入密码成功： 

Shell代码 

1. [root@SC-026 conf]# ssh 192.168.15.45  
2. Last login: Thu Jun 14 08:37:05 2012  

五、格式化HDFS文件系统  

Shell代码 

1. [root@SC-026 conf]# cd ../bin  
2. [root@SC-026 bin]# hadoop namenode -format  
3. 12/08/29 12:43:55 INFO namenode.NameNode: STARTUP_MSG:   
4. /************************************************************  
5. STARTUP_MSG: Starting NameNode  
6. STARTUP_MSG:   host = SC-026.cfind.com/192.168.15.45  
7. STARTUP_MSG:   args = [-format]  
8. STARTUP_MSG:   version = 1.0.3  
9. STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1335192; compiled by 'hortonfo' on Tue May  8 20:31:25 UTC 2012  
10. ************************************************************/  
11. 12/08/29 12:43:56 INFO util.GSet: VM type       = 64-bit  
12. 12/08/29 12:43:56 INFO util.GSet: 2% max memory = 17.77875 MB  
13. 12/08/29 12:43:56 INFO util.GSet: capacity      = 2^21 = 2097152 entries  
14. 12/08/29 12:43:56 INFO util.GSet: recommended=2097152, actual=2097152  
15. 12/08/29 12:43:56 INFO namenode.FSNamesystem: fsOwner=root  
16. 12/08/29 12:43:56 INFO namenode.FSNamesystem: supergroup=supergroup  
17. 12/08/29 12:43:56 INFO namenode.FSNamesystem: isPermissionEnabled=true  
18. 12/08/29 12:43:56 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100  
19. 12/08/29 12:43:56 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)  
20. 12/08/29 12:43:56 INFO namenode.NameNode: Caching file names occuring more than 10 times   
21. 12/08/29 12:43:56 INFO common.Storage: Image file of size 110 saved in 0 seconds.  
22. 12/08/29 12:43:56 INFO common.Storage: Storage directory [color=red]/tmp/hadoop-root/dfs/name has been successfully formatted.[/color]  
23. 12/08/29 12:43:56 INFO namenode.NameNode: SHUTDOWN_MSG:   
24. /************************************************************  
25. SHUTDOWN_MSG: Shutting down NameNode at SC-026.cfind.com/192.168.15.45  

六、启动和终止守护进程  
启动进程： 

Shell代码 

1. [root@SC-026 bin]# start-all.sh   
2. starting namenode, logging to /data/software/hadoop-1.0.3/libexec/../logs/hadoop-root-namenode-SC-026.cfind.com.out  
3. localhost: starting datanode, logging to /data/software/hadoop-1.0.3/libexec/../logs/hadoop-root-datanode-SC-026.cfind.com.out  
4. localhost: starting secondarynamenode, logging to /data/software/hadoop-1.0.3/libexec/../logs/hadoop-root-secondarynamenode-SC-026.cfind.com.out  
5. starting jobtracker, logging to /data/software/hadoop-1.0.3/libexec/../logs/hadoop-root-jobtracker-SC-026.cfind.com.out  
6. localhost: starting tasktracker, logging to /data/software/hadoop-1.0.3/libexec/../logs/hadoop-root-tasktracker-SC-026.cfind.com.out  

这里启动三个守护进程：namenode, senconaryNameNode, DataNode，用命令jps可以查看进程是否成功？ 

Shell代码 

1. [root@SC-026 bin]# jps  
2. 6247 JobTracker  
3. 3572 org.eclipse.equinox.launcher_1.2.0.v20110502.jar  
4. 5902 NameNode  
5. 6161 SecondaryNameNode  
6. 6396 TaskTracker  
7. 6467 Jps  
8. 6029 DataNode  

终止进程： 

Shell代码 

1. [root@SC-026 bin]# stop-all.sh   
2. stopping jobtracker  
3. localhost: stopping tasktracker  
4. stopping namenode  
5. localhost: stopping datanode  
6. localhost: stopping secondarynamenode  

以上配置成功后，在浏览器中输入：http://localhost:50030 会有以下页面：