Hadoop 在linux 单机上伪分布式 的安装

1，安装JDK

sudo apt-get install openjdk-6-jdk

2，配置JAVA 环境变量

输入命令：

sudo gedit /etc/profile

打开profile 在文件最下面加入如下内容：

# set java home
export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-i386/
export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"
export PATH="$JAVA_HOME:$PATH"

注意根据自己安装的java路径添加，可以用 

 ls  /usr/lib/jvm/ , 查看已安装的jdk路径。

验证jdk是否安装成功：

java  -version

3,配置SSH免密码登录

  a,  安装SSH ，输入命令：

sudo apt-get  install ssh

b,配置可以免密码登录本机。

 查看在本用户下是否有文件夹 .ssh, 没有此文件夹 则创建一个名为.ssh的文件夹.

命令：

ls -l  /home/u   (自己的用户目录)

c,  再创建id_dsa  id_dsa.pub 两个文件，这是SSH一对私钥和公钥。

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

d, 把id_dsa.pub 追加到授权key 里面

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

d, 验证是否成功。

 

ssh localhost

 显示
Welcome to Ubuntu 12.10 (GNU/Linux 3.2.0-29-generic-pae i686)

 * Documentation:  https://help.ubuntu.com/

Last login: Sun Apr 21 11:16:27 2013 from daniel-optiplex-320.local

4，Hadoop 安装

a, 下载Hadoop

点击打开链接

b, .解压Hadoop

tar xzvf hadoop-1.0.4-bin.tar.gz  -C /home/user

注意解压到自己的用户目录user下。

c ,伪分布式Hadoop 配置

转到/home/user/下的 hadoop目录下。

cd conf , 进入配置文件夹，进行修改。

修改文件 hadoop-env.sh  配置JDK即可

export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-i386/

修改文件   core-site.xml

<configuration>
 <property>
	<name>fs.default.name</name>
	<value>hdfs://localhost:9000</value>
 </property>
</configuration>

修改文件   hdfs-site.xml

<configuration>
 <property>
	<name>dfs.replication</name>
	<value>1</value>
 </property>
</configuration>

修改文件  mapred-site.xml

<configuration>
  <property>
	<name>mapred.job.tracker</name>
	<value>localhost:9001</value>
  </property>
</configuration>

5，启动 Hadoop 

  首先把Hadoop  bin 目录加入PATH 系统环境变量。
 

sudo  vim /etc/profile

在最后一行添加：

export PATH=/home/user/hadoop-1.0.4/bin/:$PATH

注意这个路径是你加压后 Hadoop目录下bin目录的路径。
修改完，然后输入命令：

source  /etc/profile

  a,格式化文件系统

      hadoop namenode –format

  b, 启动hadoop

     启动关闭所有服务 start-all.sh/stop-all.sh

     启动关闭HDFS: start-dfs.sh/stop-dfs.sh

     启动关闭MapReduce:  start-mapred.sh/stop-mapred.sh

   c, 用jps命令查看进程,确保有   namenode,dataNode,JobTracker,TaskTracker
  或者通过 浏览器验证 Hadoop安装是否成功。
      MapReduce的web页面
          http://localhost:50030
     HDFS的web页面
           http://localhost:50070

遇到的错误：

跑 MapReduce程序时如果出现，java.io.IOException: Too many open files 错误在需要在

修正的方法是去 /etc/security/limits.conf 加上這行：  - nofile 8192

安装完hadoop 2.2.0 版本   提交任务总是处于Pending状态，不能Running。

解决方法：
确保所有节点的配置文件mapred-site.xml中包含：
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>

更高版本的安装(Hadoop 2.2.0)参见:http://my.oschina.net/heartdong/blog/186026 , http://hi.baidu.com/kongxianghe123/item/d02118ceff090824ee466585

Eclipse下运行Hadoop 1.0.4 WordCount 例子.