HADOOP入门-伪分布式安装HADOOP

2.2. 伪分布式安装Hadoop

可以把伪分布式的Hadoop看做只有一个节点的集群，在这个集群中，这个节点既是Master，也是Slave；既是NameNode，也是DataNode；既是JobTracker，也是TaskTracker。

伪分布式安装与单机模式安装基本相同，区别在于HDFS的配置文件conf/hdfs-site.xml。

2.2.1. 上传安装包

使用hadoop账户，将Hadoop安装包上传至/home/hadoop目录下，并解压缩安装包。

[hadoop@hadoop ~]$ whoami 
hadoop
[hadoop@hadoop ~]$ pwd
/home/hadoop
[hadoop@hadoop ~]$ ll
total 59388
-rw-r--r--. 1 hadoop hadoop 60811130 May 21 14:52 hadoop-1.0.1.tar.gz
[hadoop@hadoop ~]$ tar -zxvf hadoop-1.0.1.tar.gz 
[hadoop@hadoop ~]$ ll
total 59392
drwxr-xr-x. 14 hadoop hadoop     4096 Feb 14  2012 hadoop-1.0.1
-rw-r--r--.  1 hadoop hadoop 60811130 May 21 14:52 hadoop-1.0.1.tar.gz

2.2.2. 配置JDK的主目录

修改Hadoop环境配置脚本

[hadoop@hadoop conf]$ whoami 
hadoop
[hadoop@hadoop conf]$ pwd
/home/hadoop/hadoop-1.0.1/conf
[hadoop@hadoop conf]$ vi hadoop-env.sh 

原来内容

# export JAVA_HOME=/usr/lib/j2sdk1.5-sun

修改后的内容

export JAVA_HOME=/usr/lib/jvm/jdk1.6.0_45

2.2.3. 修改Hadoop配置文件**

核心配置文件
conf/core-site.xml

<configuration>
     <property>
         <name>fs.default.name</name>
         <value>hdfs://localhost:9000</value>
     </property>
</configuration>

HDFS配置文件
conf/hdfs-site.xml

<configuration>
     <property>
         <name>dfs.replication</name>
         <value>3</value>
     </property>
</configuration>

PS：伪分布式的备份方式为3，单机版的备份方式配置为1

MapReduce配置文件
conf/mapred-site.xml

<configuration>
     <property>
         <name>mapred.job.tracker</name>
         <value>localhost:9001</value>
     </property>
</configuration>

2.2.4. 格式化HDFS文件系统

[hadoop@hadoop bin]$ pwd
/home/hadoop/hadoop-1.0.1/bin
[hadoop@hadoop bin]$ ./hadoop namenode -format

2.2.5. 启动Hadoop

[hadoop@hadoop bin]$ ./start-all.sh 

2.2.6. 验证Hadoop是否安装成功

打开浏览器，分别输入以下地址：

http://localhost:50030  MapReduce的WEB页面
http://localhost:50070  HDFS的WEB页面

如果可以访问，则表示安装成功`