Ubuntu11.10下安装Hadoop1.0.1（单机伪分布式）

 参考资料： http://wenku.baidu.com/view/453a23fff705cc17552709ee.html （只能当作参考，该文章jdk安装不可用）

先决条件：

 1： 安装了ubuntu11.10

 2： 下载了linux版jdk 1.6+

 3： 拥有putty 或者Xmanager至少一个ssh远程端管理软件

 4：下载了 hadoop 1.0.1

安装ssh 

sudo apt-get install ssh

安装rsync  

sudo apt-get install rsync

配置ssh免密码登录  

 

sudo  ssh-keygen -t dsa -P''-f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys

验证是否成功  

 

ssh localhost

 下载Hadoop1.0.1 , jdk在linux下的bin文件

新建 linux 终端，建立app目录，Java和Hadoop都将安装在此目录中。 

 

mkdir /home/app

接下来，安装Java和Hadoop，Hadoop解压即可。  

 

cd /home/app
chmod +x jdk-6u30-linux-i586.bin
./jdk-6u30-linux-i586.bin
tar zxf hadoop-1.0.1-bin.tar.gz

 

配置JDK环境变量

 

sudo gedit /etc/profile 
或者输入  vi /etc/profile

增加下面语句到最后  

export JAVA_HOME=/home/app/jdk1.6.0_30  

export PATH=$JAVA_HOME/bin:$PATH  

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

接下来开始配置Hadoop

进入Hadoop目录 

cd /home/app/hadoop-1.0.1

修改配置文件，指定JDk安装路径

vi conf/hadoop-env.sh

export JAVA_HOME=/home/app/jdk1.6.0_30

修改Hadoop核心配置文件core-site.xml，这里配置的是HDFS的地址和端口号

vi conf/core-site.xml

  

<configuration> 
   <property> 
        <name>fs.default.name</name> 
        <value>hdfs://localhost:9000</value>     
     </property> 
</configuration> 
 

vi conf/hdfs-site.xml

 <configuration> 
    <property> 
       <name>dfs.replication</name> 
  <value>1</value> 

</property> 

</configuration 

修改Hadoop中HDFS的配置，配置的备份方式默认为3，因为安装的是单机版，所以需要改为1  

 vi conf/hdfs-site.xml 

 <configuration> 

     <property> 

         <name>dfs.replication</name> 

         <value>1</value> 

     </property> 

 </configuration> 

修改Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口  

 vi conf/mapred-site.xml 

 <configuration> 

     <property> 

         <name>mapred.job.tracker</name> 

         <value>localhost:9001</value> 

     </property> 

 </configuration> 

接下来，启动Hadoop，在启动之前，需要格式化Hadoop的文件系统HDFS，进入Hadoop文件夹，输入下面命令

bin/hadoop namenode -format

然后启动Hadoop，输入命令

bin/start-all.sh

 

这个命令为所有服务全部启动。

最后，验证Hadoop是否安装成功。打开浏览器，分别输入一下网址：

http://localhost:50030    (MapReduce的Web页面，记住在其他其他机器上看要ip地址)

http://lcoalhost:50070    (HDfS的web页面)

如果都能查看，说明安装成功。