hadoop集群CentOS 6.5环境配置

一．关闭防火墙，设置静态IP、hostname
1．设置ip地址（建议，不设置为DHCP）

vi /etc/sysconfig/network-scripts/ifcfg-eth0

IPADDR="192.168.*.14"
NETMASK="255.255.255.0"
GATEWAY="192.168.8.1"
DNS1="8.8.8.8"
DNS2="8.8.4.4"

2．设置主机名
Hostname可以查看主机名称

vim  /etc/sysconfig/network

3．绑定主机名到ip上
（如：192.168.1.1 master）

Vim /etc/hosts

4．关闭防火墙以及自启动功能
执行命令

service iptables stop

验证:

service iptables status

关闭防火墙的自动运行
执行命令

chkconfig iptables off

验证:

chkconfig --list | grep iptables

5．关闭SELINUX

vi /etc/selinux/config
SELINUX=disabled

二．ntp同步集群时间
开机启动ntpd

sudo chkconfig ntpd on
vim /etc/ntp.conf

服务端：
Ntp服务端 加入

restrict 192.168.8.1/24 mask 255.255.255.0 nomodify

注释掉其他server同步服务器
新加入

 server  202.120.2.101   133.100.11.8

以下是一些可用的NTP服务器地址：

Name    IP  Location
210.72.145.44   210.72.145.44   中国（国家授时中心）
133.100.11.8    133.100.11.8    日本（福冈大学）
time-a.nist.gov 129.6.15.28 NIST,Gaithersburg,Maryland
time-b.nist.gov 129.6.15.29 NIST,Gaithersburg,Maryland
time-a.timefreq.bldrdoc.gov 132.163.4.101   NIST,Boulder,Colorado
time-b.timefreq.bldrdoc.gov 132.163.4.102   NIST,Boulder,Colorado
time-c.timefreq.bldrdoc.gov 132.163.4.103   NIST,Boulder,Colorado
utcnist.colorado.edu    128.138.140.44  UniversityofColorado,Boulder
time.nist.gov   192.43.244.18   NCAR,Boulder,Colorado
time-nw.nist.gov    131.107.1.10    Microsoft,Redmond,Washington
nist1.symmetricom.com   69.25.96.13 Symmetricom,SanJose,California
nist1-dc.glassey.com    216.200.93.8    Abovenet,Virginia
nist1-ny.glassey.com    208.184.49.9    Abovenet,NewYorkCity
nist1-sj.glassey.com    207.126.98.204  Abovenet,SanJose,California
nist1.aol-ca.truetime.com   207.200.81.113  TrueTime,AOLfacility,Sunnyvale,California
nist1.aol-va.truetime.com   64.236.96.53    TrueTime,AOLfacility,Virginia

1 加入

server          127.127.1.0     #local clock
fudge   127.127.1.0 stratum 10    #服务器无法同步 同步自身

2 重启ntp服务

service ntpd restart

3 可以通过命令ntpstat查看同步情况

查看与上层NTP服务器的关系ntpq –p

客户端

1.注释掉其他server同步服务器
2.加入 server 主机服务器
3.保存并退出NTP配置文件，重新启动NTP服务。

        ntpstat  synchronized

        ntpq -p

三．设置SSH免密码登陆

cd  ~/.ssh

1．ssh-keygen –t rsa

cd  ~/.ssh 

ssh-keygen –t rsa  ##一直回车

每台依次生成 公钥和私钥
2．ssh-copy-id -i node01

ssh-copy-id -i node01
##每台节点依次执行
ssh-copy-id –i  localhost
##(这里为要设置免密码登陆的机器,多个节点，localhost为本机)
scp authorized_keys  node02@root:~/.ssh
##将生成的 依次拷到其他节点

四．安装JDK
1．下载jdk
将jdk- jdk1.7.0_80.tar.gz解压放置linux的 /usr/local目录下
2．解压,

tar –zxvf jdk1.7.0_80.tar.gz 

3．配置环境变量

vim /etc/profile 
 ##增加两行内容：
export  JAVA_HOME=/usr/local/jdk1.7.0_80
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/jre/lib/dt.jar:$JAVA_HOME/jre/lib/tools.jar
export  HADOOP_HOME=/usr/local/hadoop-2.6.0
export  HIVE_HOME=/usr/local/hive-1.2.1
export  HBASE_HOME=/usr/local/hbase-0.98.15
export  ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.6
export  SCALA_HOME=/usr/local/scala-2.10.5
export  SPARK_HOME=/usr/local/spark-1.4.1
export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$HBASE_HOME/bin:$ZOOKEEPER_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

source /etc/profile
##使环境变量生效

五、机器分配图：