Ubuntu 12.04.1 安装hadoop1.0.3

来自: http://www.zhengmenbb.com/archives/519.htm

本机我直接使用zack 这个用户
1）创建Hadoop用户和ssh-key

#创建Hadoop用户

leslie@Notebook:~$ sudo useradd -m -s /bin/bash -G sudo Hadoop
leslie@Notebook:~$ sudo su – Hadoop
#生成key
Hadoop@Notebook:~$ ssh-keygen -t rsa
#本地ssh 认证。
Hadoop@Notebook:~$ ssh-copy-id -i .ssh/id_rsa.pub localhost
Hadoop@Notebook:~$ ssh localhost

3) 安装Hadoop
下载Hadoop解压到/home/hadoop/目录下www.linuxidc.com

#下载Hadoop-1.0.2
Hadoop@Notebook:~$ wget -c http://archive.apache.org/dist/hadoop/core/stable/hadoop-1.0.3.tar.gz
#解压到/home/Hadoop目录下
Hadoop@Notebook:~$ tar xvzf http://archive.apache.org/dist/hadoop/core/stable/hadoop-1.0.3.tar.gz
我是放到了 ~/.bashrc 下：

#添加/etc/profile

export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-i386
export Hadoop_HOME=/home/hadoop/hadoop-1.0.2
export PATH=$PATH:$Hadoop_HOME/bin:$JAVA_HOME/bin
export Hadoop_HOME_WARN_SUPPRESS=1 #忽略hadoop的警告。

4）配置Hadoop

1.修改conf/Hadoop-env.sh，添加jdk支持

export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-i386

如果ssh端口不是默认的22，在conf/Hadoop-env.sh里改下。如：

export Hadoop_SSH_OPTS=”-p 1234″

2 修改conf/core-site.xml，增加下面内容

<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value> //决定namenode
</property>
<property>
<name>Hadoop.tmp.dir</name>
<value>/home/Hadoop/tmp</value> //临时文件，有问题的时候，可以删除
<description>A base for other temporary directories.</description>
</property>

3.修改conf/hdfs-site.xml，增加下面内容

<property>
<name>dfs.name.dir</name>
<value>/home/Hadoop/name</value> //namenode持久存储名字空间，www.linuxidc.com事务日志的本地路径
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/Hadoop/data</value> //datanode存放数据的路径
</property>
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value> //数据备份的个数，默认是3
</property>

4.修改conf/mapred-site.xml，增加下面内容

<property>
<name>mapred.job.tracker</name> //jobTracker的主机
<value>localhost:9001</value>
</property>

5修改conf/masters，这个决定那个是secondarynamenode

localhost

6 .修改conf/slaves，这个是所有datanode的机器

localhost

5) 格式化hdfs文件系统的namenode

Hadoop@Notebook:~$ hadoop namenode -format

6 ) 启动Hadoop集群

Hadoop@Notebook:~$ hadoop/bin/start-all.sh

7) jps

26606 NameNode
26851 SecondaryNameNode
27044 TaskTracker
26925 JobTracker
26717 DataNode

7) Hdfs操作
建立目录

Hadoop@Notebook:~$ hadoop dfs -mkdir zed

查看现有文件

Hadoop@Notebook:~$ hadoop dfs -ls

 关闭Hdfs

Hadoop@Notebook:~$ hadoop/bin/stop-all.sh