环境配置:VMware10 + CentOS 6.5 + JDK1.7.0_67 + Hadoop 2.5.0
一、集群规划(以3台虚拟机为例)
二、准备系统环境
1、配置静态IP和DNS
# vi /etc/sysconfig/network-scripts/ifcfg-eth0
BOOTPROTO=static
IPADDR=192.168.89.89 (机器IP)
NETMASK=255.255.255.0
GATEWAY=192.168.89.2 (网关,前三位同IP,最后一位为2)
DNS1=192.168.89.2 (同网关)
# service network restart (重启网卡服务)
2、分别修改主机名
# vi /etc/sysconfig/network
HOSTNAME=bruce01.mydomain--第一台
HOSTNAME=bruce02.mydomain--第二台
HOSTNAME=bruce03.mydomain--第三台
3、修改主机名映射
# vi /etc/hosts
注意:每台主机的hosts文件里都写入三条,而不是一条
192.168.89.90bruce01.mydomain
192.168.89.91bruce02.mydomain
192.168.89.92bruce03.mydomain
4、关闭iptables和selinux(三台机器均关闭)
# service iptables status --查看防火墙状态,若开启则关闭
# service iptables stop--关闭防火墙服务
# chkconfig iptables off--让iptables开启不启动
# vi /etc/sysconfig/selinux
SELINUX=disabled
5、创建普通用户(三台机器均创建)
# useradd bruce
# passwd bruce
6、卸载多余的JDK(三台机器均卸载)
# rpm -qa | grep -i java
# rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64
三、配置NTP时间服务器
(Network Time Protocol,用来同步网络中各个计算机时间的协议;把bruce01这台服务器配置为时间服务器,然后集群内其他服务器都来同步这台服务器的时间;目的: 集群内所有节点的时间一致)
1、统一三台服务器时区
# date (查看当前时间)
# date -R (查看当前系统时区)
注意:如果时区不是东八区,则做如下操作
# rm -rf /etc/localtime
# ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
2、在bruce01上操作
⑴同步时间
# ntpdate cn.pool.ntp.org(同步当前服务器时间,网上可以搜索时间服务器)
⑵检查ntp软件包是否安装(可选)
# rpm -qa | grep ntp
ntp-4.2.4p8-3.el6.centos.x86_64
# yum -y install ntp(如果没有安装需要安装ntp)
⑶修改ntp配置文件
# vi /etc/ntp.conf
①去掉下面这行前面的# ,并把网段修改成自己的网段,即允许哪个网段来同步时间
restrict 192.168.89.0 mask 255.255.255.0 nomodify notrap
②注释掉以下几行,禁止它去同步互联网上其他NTP服务器
#server 0.centos.pool.ntp.org
#server 1.centos.pool.ntp.org
#server 2.centos.pool.ntp.org
③ 把下面两行前面的#号去掉,如果没有这两行,需要手动添加
server 127.127.1.0 (本地系统时钟(BIOS)地址)
fudge 127.127.1.0 stratum 10
⑷启动ntp服务
# service ntpd start
# chkconfig ntpd on --开机启动
若需要重启,则# service ntpd restart
3、在bruce02、bruce03上操作
使bruce02、bruce03同步bruce01:
# service ntpd stop
# chkconfig ntpd off
# ntpdate bruce01.mydomain--去第一台服务器同步时间
25 Aug 15:16:47 ntpdate[2092]: adjust time server 192.168.17.129 offset 0.311666 sec
制定计划任务,周期性同步时间
# crontab -e
*/10 * * * * /usr/sbin/ntpdate bruce01.mydomain --每10分钟同步一次
[分 时 日 月 星期]
# service crond restart
四、配置无密钥登录
规划:bruce01、bruce02可以无密钥登录三台主机
bruce01-->bruce01
-->bruce02
-->bruce03
bruce02-->bruce01
-->bruce02
-->bruce03
1、在bruce01上生成一公私钥对
# su - bruce
$ ssh-keygen -t rsa (一直回车,rsa为指定的加密算法)
(执行后,在/home/bruce/.ssh/下生成一对文件:id_rsa、id_rsa.pub)
2、把公钥发给bruce01、bruce02、bruce03,会在.ssh/内生成authorized_keys文件
$ ssh-copy-id bruce01.mydomain (需要输入‘yes’和目标节点的密码)
$ ssh-copy-id bruce02.mydomain
$ ssh-copy-id bruce03.mydomain
(公钥发给了对方,就可以不用输入密码,直接使用私钥登录到对方的主机)
$ ssh bruce@bruce02.mydomain (登录测试)
3、在bruce02上做同样的操作
PS:1、若是不成功,则将这两个文件删除,再重新生成这两个文件即可;
2、若是没有ssh-keygen命令
$ which ssh-keygen (找到该命令对应文件:/usr/bin/ssh-keygen)
$ rpm -qf /usr/bin/ssh-keygen (查找该文件所在的安装包:openssh-5.3p1-84.1.e16.x86_64 )
(安装此安装包即可)
五、安装配置JDK(不用此方法,分别单独安装JDK也可以)
2、拷贝jdk目录到另外两台服务器
$ scp -r /opt/modules/jdk1.7.0_67/ bruce02.mydomain:/opt/modules/ (远程拷贝命令)
$ scp -r/opt/modules/jdk1.7.0_67/ bruce03.mydomain:/opt/modules/
3、环境变量
# vi /etc/profile
export JAVA_HOME=/opt/modules/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin
#source /etc/profile 该命令使配置的环境变量立即生效
六、安装配置Hadoop
(在bruce01上配置好,拷贝到其他节点服务器即可)
($ rm -rf hadoop安装目录/data/)
1、修改JAVA_HOME
$ cd /opt/modules/hadoop-2.5.0/etc/hadoop/
hadoop-env.sh yarn-env.sh mapred-env.sh
export JAVA_HOME=/opt/modules/jdk1.7.0_67
2、修改core-site.xml文件
<property>
<name>fs.defaultFS</name>
<value>hdfs://bruce01.mydomain:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/modules/hadoop-2.5.0/data</value>
</property>
3、修改slaves文件 (声明哪些节点服务器是DataNode)
bruce01.mydomain
bruce02.mydomain
bruce03.mydomain
4、修改hdfs-site.xml文件
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>bruce03.mydomain:50090</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>blue01.mydomain:50070</value>
</property>
<!--关闭权限许可检查-->
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
5、修改yarn-site.xml文件
<property>
<name>yarn.resourcemanager.hostname</name>
<value>bruce02.mydomain</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>86400</value>
</property>
6、修改mapred-site.xml文件
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>bruce01.mydomain:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>bruce01.mydomain:19888</value>
</property>
7、拷贝hadoop安装目录给其他节点
$ rm -rf share/doc/ #里面是帮助文档,1.6G,拷贝前可以删除掉
$ scp -r hadoop-2.5.0/ bruce02.mydomain:/opt/modules/
$ scp -r hadoop-2.5.0/ bruce03.mydomain:/opt/modules/
七、启动Hadoop
1、在bruce01上
$ bin/hdfs namenode -format --在data目录里创建出fsimage
$ sbin/start-dfs.sh --启动HDFS
2、在bruce02上
$ sbin/start-yarn.sh --启动YARN
PS:三种启动方式
1、第一种:分角色启动,比较麻烦
$ sbin/hadoop-daemon.sh start namenode
......
2、第二种:必须配置无密钥登录
$ sbin/start-dfs.sh
$ sbin/start-yarn.sh
3、第三种:
$ sbin/start-all.sh
八、运行
http://bruce01:50070/
http://bruce02:8088/cluster/