今天终于在亚运和二哥的教导下终于把hadoop集群的环境搭建好了,搭建的流程和单机版基本差不多,但是搭建过程中也遇到了许多的困难,例如:ssh授权这块,搭建过程中,出现的问题很多,导致我耽误了好长的时间!现在我把我的搭建过程梳理一下,如果有什么问题,请多多指教!
一. 搭建环境前的准备:
我的本机Ubuntu 12.04 32bit作为maser,就是上篇hadoop单机版环境搭建时用的那台机子,
还在KVM中虚拟了4台机子,分别起名为:
son-1 (ubuntu 12.04 32bit),
son-2 (ubuntu 12.04 32bit),
son-3 (centOS 6.2 32bit),
son-4 (redhat 6.0 32bit).
kvm的搭建详见:http://www.db89.org/post/2012-05-25/kvmxuniji
kvm的桥接设置详见:http://www.db89.org/post/2012-05-27/kvmnetset
Ubuntu12.04搭建hadoop单机版环境详见:http://www.db89.org/post/2012-06-03/hadoopdanjihuanjing
下来修改本机的host文件,
在后面添加内容为:
1
2
3
4
5
|
192.168.200.150 master
192.168.200.151 son-1
192.168.200.152 son-2
192.168.200.153 son-3
192.168.200.154 son-4
|
现在开始我们的打建之旅吧。
二 . 为本机(master)和子节点(son..)分别创建hadoop用户和用户组,其实ubuntu和centos下创建用户还多少还是有点区别的。
ubuntu下创建:
先创建hadoop用户组:
然后创建hadoop用户:
1
|
sudo
adduser -ingroup hadoop hadoop
|
centos 和 redhat 下创建:
注:在centos 和 redhat下直接创建用户就行,会自动生成相关的用户组和相关文件,而ubuntu下直接创建用户,创建的用户没有家目录。
给hadoop用户添加权限,打开/etc/sudoers文件;
按回车键后就会打开/etc/sudoers文件了,给hadoop用户赋予root用户同样的权限。
在root ALL=(ALL:ALL) ALL下添加hadoop ALL=(ALL:ALL) ALL,
三. 为本机(master)和子节点(son..)安装JDK环境。
ubuntu下一条命令即可:
1
|
sudo
apt-get
install
openjdk-6-jre
|
centos和redhat建议下载源码安装。
详见:http://www.db89.org/post/2012-07-02/centosjava
四. 修改 本机(master)和子节点(son..)机器名
打开/etc/hostname文件;
分别修改为:master son-1 son-2 son-3 son-4。这样有利于管理和记忆!
五. 本机(master)和子节点(son..)安装ssh服务
主要为ubuntu安装,cents和redhat系统自带。
ubuntu下:
1
|
sudo
apt-get
install
ssh
openssh-server
|
这时假设您已经安装好了ssh,您就可以进行第六步了哦~
六. 先为建立ssh无密码登录环境
做这一步之前首先建议所有的机子全部转换为hadoop用户,以防出现权限问题的干扰。
切换的命令为:
ssh生成密钥有rsa和dsa两种生成方式,默认情况下采用rsa方式。
1. 创建ssh-key,,这里我们采用rsa方式;
(注:回车后会在~/.ssh/下生成两个文件:id_rsa和id_rsa.pub这两个文件是成对出现的)
2. 进入~/.ssh/目录下,将id_rsa.pub追加到authorized_keys授权文件中,开始是没有authorized_keys文件的;
1
2
|
cd
~/.
ssh
cat
id_rsa.pub >> authorized_keys
|
七. 为本机mater安装hadoop
我们采用的hadoop版本是:hadoop-0.20.203(http://www.apache.org/dyn/closer.cgi/hadoop/common/ ),因为该版本比较稳定。
1. 假设hadoop-0.20.203.tar.gz在桌面,将它复制到安装目录 /usr/local/下;
1
|
sudo
cp
hadoop-0.20.203.0rc1.
tar
.gz
/usr/local/
|
2. 解压hadoop-0.20.203.tar.gz;
1
2
|
cd
/usr/local
sudo
tar
-zxf hadoop-0.20.203.0rc1.
tar
.gz
|
3. 将解压出的文件夹改名为hadoop;
1
|
sudo
mv
hadoop-0.20.203.0 hadoop
|
4. 将该hadoop文件夹的属主用户设为hadoop,
1
|
sudo
chown
-R hadoop:hadoop hadoop
|
5. 打开hadoop/conf/hadoop-env.sh文件;
1
|
sudo
gedit hadoop
/conf/hadoop-env
.sh
|
6. 配置conf/hadoop-env.sh(找到#export JAVA_HOME=...,去掉#,然后加上本机jdk的路径);
1
|
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk
|
7. 打开conf/core-site.xml文件;
1
|
sudo
gedit hadoop
/conf/core-site
.xml
|
编辑如下:
1
2
3
4
5
6
7
8
9
|
<?
xml
version
=
"1.0"
?>
<?
xml-stylesheet
type
=
"text/xsl"
href
=
"configuration.xsl"
?>
<
configuration
>
<
property
>
<
name
>fs.default.name</
name
>
</
property
>
</
configuration
>
|
8. 打开conf/mapred-site.xml文件;
1
|
sudo
gedit hadoop
/conf/mapred-site
.xml
|
编辑如下:
1
2
3
4
5
6
7
8
9
|
<?
xml
version
=
"1.0"
?>
<?
xml-stylesheet
type
=
"text/xsl"
href
=
"configuration.xsl"
?>
<
configuration
>
<
property
>
<
name
>mapred.job.tracker</
name
>
<
value
>master:9001</
value
>
</
property
>
</
configuration
>
|
9. 打开conf/hdfs-site.xml文件;
1
|
sudo
gedit hadoop
/conf/hdfs-site
.xml
|
编辑如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
<
configuration
>
<
property
>
<
name
>dfs.name.dir</
name
>
<
value
>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</
value
>
</
property
>
<
property
>
<
name
>dfs.data.dir</
name
>
<
value
>/usr/local/hadoop/data1,/usr/local/hadoop/data2</
value
>
</
property
>
<
property
>
<
name
>dfs.replication</
name
>
<
value
>2</
value
>
</
property
>
</
configuration
>
|
10. 打开conf/masters文件,添加作为secondarynamenode的主机名,这里需填写 master 就Ok了。
1
|
sudo
gedit hadoop
/conf/masters
|
11. 打开conf/slaves文件,添加作为slave的主机名,一行一个。
1
|
sudo
gedit hadoop
/conf/slaves
|
这里填成下列的内容 :
八. 要将master机器上的文件一一复制到datanode机器上(son-1,son-2,son-3,son-4都要复制):(这里以son-1为例子)
1. 公钥的复制
1
|
scp
~/.
ssh
/id_rsa
.pub hadoop@son-1:~/.
ssh
/
|
2. hosts文件的复制
1
|
scp
/etc/hosts
hadoop@son-1:
/etc/hosts
|
注:这里如果不能复制,就先将文件复制到/home/hadoop下面,即为:
1
|
scp
/etc/hosts
hadoop@son-1:
/home/hadoop
|
再在datanode机器上将其移到相同的路径下面/etc/hosts .
3. hadoop文件夹的复制,其中的配置也就一起复制过来了!
1
|
scp
-r
/usr/local/hadoop
hadoop@son-1:
/usr/local
|
如果不能移动的话和上面的方法一样!
并且要将所有节点的hadoop的目录的权限进行如下的修改:
1
|
sudo
chown
-R hadoop:hadoop hadoop
|
这些东西都复制完了之后,datanode机器还要将复制过来的公钥追加到收信任列表:
在每个子节点的自己种都要操作。
1
|
cat
~/.
ssh
/id_rsa
.pub >> ~/.
ssh
/authorized_keys
|
还有很重要的一点,子节点datanode机器要把复制过来的hadoop里面的data1,data2和logs删除掉!
还有要修改centos节点(son-3)和redhat节点(son-4)的java的环境变量地址,
配置centos节点(son-3)和redhat节点(son-4)的/usr/local/hadoop/conf/hadoop-env.sh(找到#export JAVA_HOME=...,去掉#,然后加上本机jdk的路径);这个环境不一,自己配置一下。
这样环境已经基本搭建好了,现在开始测试一下。
九. 这样之后基本上就差不多了,
首先进入master的hadoop目录.
首先可以做一下负载平衡,我担心这个加上会有点乱,但是没有这部分不影响运行,想了解的给我留言!
启动datanode和tasktracker:
1
2
3
4
5
|
bin
/start-dfs
.sh
bin
/hadoop-daemon
.sh start datanode
bin
/hadoop-daemon
.sh start tasktracker
|
启动全部服务直接一条命令:
查看自己的datanode是否启动.
当jps不能正常使用的时候:
连接时可以在namenode上查看连接情况:
1
|
bin
/hadoop
dfsadmin -report
|
详见下图:
![](http://m1.img.libdd.com/farm4/203/02FD56AD126AE53285B5F6FD432411CB_500_767.jpg)
也可以直接进入网址:
详见下图:
图1:
![](http://m1.img.libdd.com/farm5/174/F7BE3897198D0D22AFDC8D15FB2FFCAE_500_374.jpg)
图2:
![](http://m2.img.libdd.com/farm4/135/FA28D4D398DC1830DF98B1782019AE87_500_201.jpg)
因为readhat的java环境还有点问题所以没有启动起来,其它的正常。
切记,上面的大多数操作请使用hadoop用户,要不然中间会出许多关于权限的问题。
到此整个环境的搭建工作就完成了,如果有什么问题,请给我留言,咱们可以互相交流!同时谢谢在我搭建环境中帮助过我的人!
From:XiYou.LinuxGroup.10.DuBin
2,
首先声明:如果能通过官方文档安装就尽量用官方的方法。
环境: linux :ubuntu 12.04
jdk:1.7.0_17
jdk安装:
1,在官网下载最新jdk后,解压
tar -zxvf jdk....
2(可省),把jdk放在/usr下
cp jdk /usr
3,修改/etc/profile :添加
export JAVA_HOME=/usr/jdk1.7.0_17
export JRE_HOME=/usr/jdk1.7.0_17/jre
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
注意:JAVA_HOME,JRE_HOME应该是你解压后jdk文件的位置
4,查看是否安装成功
source /etc/profile
java -version
安装成功应该可以看到类似的,否则重新再安装一遍把
java version "1.7.0_17"
Java(TM) SE Runtime Environment (build 1.7.0_17-b02)
Java HotSpot(TM) Server VM (build 23.7-b01, mixed mode)
2,SSH安装
sudo apt-get install ssh
sudo apt-get install rsync
3,安装hadoop1.0.4
1,下载,解压,(改名,放置)。
2,修改 hadoop1.0.4下conf/hadoop-env.sh中的JAVA_HOME (和jdk上面的一样)
3,在hadoop1.0.4文件夹下,输入 bin/hadoop (This will display the usage documentation for the hadoop script.)
1,Local (Standalone) Mode测试
在hadoop目录下,最好带sudo。
$ mkdir input
$ cp conf/*.xml input
$ bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+'
$ cat output/*
2,Pseudo-Distributed Mode
1,修改配置文件
conf/core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
conf/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
conf/mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
2,设置ssh
ssh localhost
ssh localhost这需要密码,如果去掉密码的话就需要命令:
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
3,格式化namenode
明显在hadoop目录下
bin/hadoop namenode -format
4,启动hadoop守护进程(the hadoop daemons)
5,查看是否配置成功
6,关闭守护进程
我自己安装时参考来他们的以及书上的,自己正在整理,待续。。。