Hadoop 安装和 单机配置 ( Ubuntu 平台）

Hadoop 目前主要分为两大版本，1.xx和2.xx ，也称之为两代；这两个大版本有很大差异；目前商用的稳定版本还是第一代，这次选择version 1.2.1;

1.下载地址（包含所有版本）

https://archive.apache.org/dist/hadoop/core/

2.安装Java，配置环境变量

 vi  /etc/profile 

添加 export JAVA_HOME=<java home>

         export PATH= .:$PATH:$JAVA_HOME

3.安装SSH

 hadoop 整个分布式系统依赖于ssh用来通信，

sudo apt-get install ssh ，

sudo apt-get install rsync

sudo apt-get install openssh-server

安装成功后，ssh服务将会运行；通过service sshd status | start | stop 管理；

4.创建hadoop专用用户

useradd  <hadoop>

passwd  <password>

5.将hadoop安装目录添加到hadoop用户以及其用户组中

sudo chown -R hadoop:hadoop hadoop-1.2.1

6.伪分布式部署（pseudo-distributed operation)

配置 conf目录下的配置文件

conf/core-site.xml:

<configuration>
     <property>
         <name>fs.default.name</name>
         <value>hdfs://localhost:9000</value>
     </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hdfs/tmp</value>
    </property>
    <property>
        <name>dfs.data.dir></name>
        <value>/home/hadoop/hdfs/data</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
 </configuration>

conf/hdfs-site.xml:

<configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
</configuration>

conf/mapred-site.xml:

<configuration>
     <property>
         <name>mapred.job.tracker</name>
         <value>localhost:9001</value>
     </property>
</configuration>

7 配置ssh ,使用无密码登录

$ ssh localhost

如何没有成功登录，执行下面代码
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

8.初始化

初始化hdfs

bin/hadoop namenode -format

9.开启hadoop

bin/start-all.sh

10.页面监控管理

• NameNode - http://localhost:50070/
• JobTracker - http://localhost:50030/