1.4台服务器:node01 node02 node03 node04
node01上有namenode
node02上有放有secondarynamenode和datanode
node03、node04上有datanode
2.4台服务器配置好jdk
3.设置4台服务器的网络:cd /etc/sysconfig/network-scripts/ vi ifcfg-eth0
ONBOOT=yes
BOOTPROTO=none
IPADDR=192.168.42.128
PREFIX=24
GATEWAY=192.168.42.2
DNS1=8.8.8.8
注解:
ONBOOT是指明在系统启动时是否激活网卡,只有在激活状态的网卡才能去连接网络,进行网络通讯
IPADDR:静态IP地址,因为使用远程连接操作虚拟机,如果不设置静态ip,ip进行动态获取,会使连接中途中断
4.每个节点都需要设置,通信需要 vim /etc/hosts
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/5e7e2b3ee8105fb7f87614efdea5139a.png)
5.配置免密钥:
因为进行远程连接时,需要手动输入密码,设置后只需要把公钥给其他节点后,无需手动输入
第一步:要每个节点执行:ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa 生成各自的私钥和公钥
第二步:在node01上执行:
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node04
把自己的公钥发给其他服务器,实现免密登录
6.在每个节点执行:时间同步,如果时间相差太多,服务器会拒绝接受命令
① 各个节点安装ntp命令yum install ntp
② 同步时间ntpdate ntp1.aliyun.com
7.在node01安装hadoop
7.1.首先进行hadoop的安装解压 压缩包放在/usr/local/src/
[root@localhost ~]# cd /usr/local/src/
[root@localhost /usr/local/src]# tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C /usr/local/
7.2.进入hadoop目录:
[root@localhost /usr/local/src]# cd /usr/local/hadoop-2.6.0-cdh5.7.0/
7.3.配置hadoop的jdk变量
[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0/etc/hadoop]# vim hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.8/ # 根据你的环境变量进行修改
8.配置hadoop:在 /usr/local/hadoop.2.6.5/etc/hadoop/etc中修改
8.1修改hdfs-site.xml配置文件:
dfs.replication 副本数
3
dfs.namenode.secondary.http-address 指定secondaryName
node02:50090
8.2修改core-site.xml配置文件
指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址
fs.defaultFS
hdfs://node01:9000
指定hadoop运行时产生临时文件的存储目录
hadoop.tmp.dir
/var/abc/hadoop/cluster
8.3修改slaves配置文件
修改为node02 node03 node04(设置从节点)
<hadoop进程的从节点,必须竖着写,不能有空格,否则会无法识别
8.4hadoop环境变量的修改
命令:
① cd ~
② vim .bashrc
添加: export HADOOP_HOME=/usr/local/etc/hadoop-2.6.5 hadoop的路径
export PATH=
P
A
T
H
:
PATH:
PATH:HADOOP_HOME/bin:$HADOOP_HOME/sbin
③ source .bashrc 执行,使生效
9.node01的hadoop配置完成:
将配置好的hadoop包发给其他服务器
cd /usr/local/ hadoop所在的上一级目录
scp -r hadoop-2.6.5 node02:pwd
进行传输
在node01上进行格式化namenode
① hdfs namenode -format
②启动HDFS start-dfs.sh
③jps查看
④ stop start-dfs.sh 关闭
11.用来浏览器访问时:关闭每个服务器的防火墙
临时关闭防火墙
service iptables stop
永久关闭防火墙
chkconfig iptables off
查看关闭后的状态
service iptables status