ubuntu下安装hadoop(单机模式)

参考了官网和一些博客的资料，终于安装成功hadoop on ubuntu。

步骤及注意事项：

1.软件准备：

    1）ubuntu10.10 内核2.6.35

    2）安装ssh，其实是openSSH，默认ubuntu已经安装了，但是不能ssh localhost登录本机，重装ssh即可。

$ apt-get install ssh 
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ ssh localhost

SSHD要一直启动着

   3）jdk的安装此处不表

   4）下载安装Hadoop：我用的是0.21.0,下载解压，放在了/opt/hadoop目录下

2.配置环境变量，

1）在/etc/profile文件中加入
export HADOOP_HOME=/root/hadoop/hadoop-0.20.1
export JAVA_HOME=/usr/java/jdk1.6.0_18
export JRE_HOME=/usr/java/jdk1.6.0_18/jre
export PATH=$PATH:$HADOOP_HOME/bin
执行 $ source /etc/profile

2）在/opt/hadoop/hadoop-0.21.0/conf修改hadoop-env.sh,只需修改

JAVA_HOME=/usr/lib/jvm/java-6-sun

3.设定 hadoop配置文件

/opt/hadoop/conf/core-site.xml ，要先在hadoop文件夹下新建tmp文件夹

<configuration>  <property>    <name>fs.default.name</name>    <value>hdfs://localhost:9000</value>  </property>  <property>    <name>hadoop.tmp.dir</name>    <value>/opt/hadoop/tmp</value>  </property></configuration>

•編輯 /opt/hadoop/conf/hdfs-site.xml 
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>
•編輯 /opt/hadoop/conf/mapred-site.xml 
<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>

4.格式化HDFS 

•以上我们已经设定好 Hadoop 单机测试的环境，接着让我们来启动 Hadoop 相关服务，格式化 namenode， secondarynamenode, tasktracker 
•$ cd /opt/hadoop/hadoop-0.20.0
•$ source /opt/hadoop/hadoop-0.20.0/conf/hadoop-env.sh
•$ hadoop namenode -format

5.执行 
$ start-all.sh

 

jobtracker

namenode

 

----------------

真分布模式下tips：

.配置SSH免密码登陆
3.1每台服务器上运行：
$ssh-keygen-tdsa -P'' -f ~/.ssh/id_dsa
$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys
3.2把各台服务器的~/.ssh/authorized_keys文件内容合并到一个总的authorized_keys文件；
3.3把那个总的authorized_keys文件scp到每台服务器，替换原有的authorized_keys文件；
3.4互相SSH对方机器，确认SSH登陆不需要密码

 在Ubuntu客户端通过ssh登录服务器。假设服务器的IP地址是192.168.0.103，登录的用户名是hyx。
$ ssh -l hyx 192.168.0.103，我们已经免密码，直接enter进入...