ubuntu 安装hadoop 伪分布模式

2/系统下要安装jdk

我的系统jdk安装在：JAVA_HOME=/usr/lib/jvm/java-6-oracle

3/解压hadoop-0.23.6.tar.gz文件：

tar -xvzf hadoop-0.23.6.tar.gz

给文件设置所有者

#chown -R tianbx:tianbx title.txt

4/编辑 conf/hadoop-env.sh文件，至少需要将JAVA_HOME设置为Java安装根路径。

5/创建一个纸箱hadoop的安装目录的环境变量，将二进制目录放到命令行路径上。

export HADOOP_INSTALL=/home/hadoop/
export PATH=$PATH:$HADOOP_INSTALL/bin

这样就可以不用加hadoop路径了，直接使用hadoop命令：

hadoop versionHadoop 0.20.2
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707
Compiled by chrisdo on Fri Feb 19 08:07:34 UTC 2010
root@tianbaoxing-virtual-machine:/home/hadoop/java#

6/hadoop中的每一个组件都是用一个xml文件配置。核心属性在core-site.xml中，HDFS属性在hdfs-site.xml中，MapReduce属性在mapred-site.xml.这些文件都在conf子目录下。

在一个特定的模式下运行hadoop时，需要注意：（1）设置适当的属性，并启动hadoop的守护进程。

7/修改conf/core-site.xml，改为：

viewplaincopytoclipboardprint?  
<configuration> 
<property> 
<name>fs.default.name</name> 
<value>hdfs://localhost:9000</value> 
</property> 
<property>
   <name>hadoop.tmp.dir</name>
   <value>/home/data/hadoop</value>
   <description>A base for other temporary directories.</description>
</property>
</configuration>

8/修改conf/hdfs-site.xml，改为：

viewplaincopytoclipboardprint?  
<configuration> 
<property> 
<name>dfs.replication</name> 
<value>1</value> 
</property> 
</configuration>

9/修改conf/mapred-site.xml，改为：

viewplaincopytoclipboardprint?  
<configuration> 
<property> 
<name>mapred.job.tracker</name> 
<value>localhost:9001</value> 
</property> 
</configuration>

默认情况下，Hadoop被配置成以非分布式模式运行的一个独立Java进程。这对调试非常有帮助。

10/设置本机ssh本机无密码

　先测试一下，输入命令sshlocalhost，如果提示密码，则需要进行以下操作：
　$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
　$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys

11/格式化namenode：
　$bin/hadoopnamenode-format

12/启动Hadoop：
　$bin/start-all.sh

13/关闭hadoop

$bin/hadoop/stop-all.sh

进入hadoop主目录的bin目录下

     $cd hadoop/bin 

     $./hadoop namenode -format    //格式化hadoop namenode，很多时候namenode启动不起来可以试试格式化一下，会好使。

     $./start-all.sh     //启动hadoop的各个监护进程

     可以通过http://localhost:50070   和http://localhost:50030 查看namenode和jobtracker。

     $./stop-all.sh    //关闭hadoop的各个监护进程

可以参考：http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

转载于:https://my.oschina.net/winHerson/blog/190550