hadoop的搭建

Hadoop安装规划

 

IP	主机名
192.168.1.11	prac1
192.168.1.13	prac2

 

下载jdk和hadoop

 

http://www.oracle.com

http://hadoop.apache.org/

 

安装jdk（所有节点）

 

免安装文件直接解压到当前目录即可：

 

[root@prac1 ~]# pwd

/root

[root@prac1 ~]# tar zxvf jdk-7u7-linux-x64.tar.gz

[root@prac1 ~]# ls jdk

jdk1.7.0_07/              jdk-7u7-linux-x64.tar.gz

[root@prac1 ~]# mv jdk1.7.0_07/ jdk

[root@prac1 ~]# mv jdk /usr/local/

 

然后修改/etc/profile：

 

export JAVA_HOME=/usr/local/jdk

export CLASSPATH=.:$JAVA_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin

 

保存，并执行 source /etc/profile 生效

 

配置host

 

Namenode的机器，需要配置集群中所有机器的ip

修改/etc/hosts

[root@prac1 ~]# vi /etc/hosts

127.0.0.1   localhost

::1         localhost6.localdomain6 localhost6

 

 

192.168.1.11 prac1

192.168.1.13 prac2

 

其他的datanode的/etc/hosts 只需要配置namenode的机器ip和本机ip

[root@prac2 ~]# vi /etc/hosts

127.0.0.1   localhost

::1         localhost6.localdomain6 localhost6

 

 

192.168.1.11 prac1

192.168.1.13 prac2

 

修改hostname(可选)

vi /proc/sys/kernel/hostname

 

建立ssh无密码登录

首先进到root目录下

 

在两个节点都执行如下操作

 

$ssh-keygen -t rsa

$ssh-keygen -t dsa

 

 

 

prac1

 

$cat .ssh/id_rsa.pub >> .ssh/authorized_keys

$cat .ssh/id_dsa.pub >> .ssh/authorized_keys

 

[root@prac1 ~]#  chmod 775 ~/.ssh/authorized_keys

 

注意以下两步要在prac1上进行，如果在prac2上进行，则信任关系建立不成功

 

$ssh prac2 cat .ssh/id_rsa.pub >>.ssh/authorized_keys

$ssh prac2 cat .ssh/id_dsa.pub >>.ssh/authorized_keys

 

 

scp .ssh/authorized_keys prac2:~/.ssh/

 

测试ssh

ssh prac1 date

ssh prac2 date

 

安装hadoop

 

[root@prac1 ~]# tar zxvf hadoop-0.21.0.tar.gz

[root@prac1 ~]# mv hadoop-0.21.0 hadoop

[root@prac1 ~]# mv hadoop /usr/local/hadoop

 

然后修改/etc/profile

 

export HADOOP_HOME=/usr/local/hadoop

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

 

source /etc/profile

 

配置hadoop

 

1.修改/usr/local/hadoop/conf/hadoop-env.sh，添加jdk支持   // 这个很重要

 

export JAVA_HOME=/usr/local/jdk

 

如果ssh端口不是默认的22，在conf/hadoop-env.sh里改下。如：

export HADOOP_SSH_OPTS="-p 1234"

 

2.修改conf/core-site.xml，增加下面内容

 

 

[root@srac1 conf]# mkdir -p /hadoop/hdfs/tmp   // 在两个节点上都建立

 

core-site.xml

 

fs.default.name

hdfs://srac1:9000

 

dfs.replication

1

 

hadoop.tmp.dir

/hadoop/hdfs/tmp

 

 

3.修改conf/hdfs-site.xml，增加下面内容

 

在所有节点上建立以下目录

mkdir -p /hadoop/hdfs/name

mkdir -p /hadoop/hdfs/data

 

 

dfs.name.dir

/data/hdfs/name

 

dfs.data.dir

/data/hdfs/data

 

dfs.datanode.max.xcievers

4096

 

dfs.replication

1

 

 

3.修改conf/mapred-site.xml，增加下面内容 

 

mapred-site.xml

 

mapred.job.tracker

srac1:9001

 

 

0

0

分享到：

转载于:http://blog.itpub.net/26877787/viewspace-746025/