HDFS完全分布式安装

1.4台服务器：node01 node02 node03 node04

node01上有namenode
node02上有放有secondarynamenode和datanode
node03、node04上有datanode

2.4台服务器配置好jdk

3.设置4台服务器的网络：cd /etc/sysconfig/network-scripts/ vi ifcfg-eth0

ONBOOT=yes
BOOTPROTO=none
IPADDR=192.168.42.128
PREFIX=24
GATEWAY=192.168.42.2
DNS1=8.8.8.8
注解：
ONBOOT是指明在系统启动时是否激活网卡，只有在激活状态的网卡才能去连接网络，进行网络通讯
IPADDR：静态IP地址，因为使用远程连接操作虚拟机，如果不设置静态ip，ip进行动态获取，会使连接中途中断

4.每个节点都需要设置，通信需要 vim /etc/hosts

5.配置免密钥：

因为进行远程连接时，需要手动输入密码，设置后只需要把公钥给其他节点后，无需手动输入
第一步：要每个节点执行：ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa 生成各自的私钥和公钥
第二步：在node01上执行：
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node04
把自己的公钥发给其他服务器，实现免密登录

6.在每个节点执行：时间同步，如果时间相差太多，服务器会拒绝接受命令

① 各个节点安装ntp命令yum install ntp
② 同步时间ntpdate ntp1.aliyun.com

7.在node01安装hadoop

7.1.首先进行hadoop的安装解压 压缩包放在/usr/local/src/
[root@localhost ~]# cd /usr/local/src/
[root@localhost /usr/local/src]# tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C /usr/local/

7.2.进入hadoop目录：
[root@localhost /usr/local/src]# cd /usr/local/hadoop-2.6.0-cdh5.7.0/

7.3.配置hadoop的jdk变量
[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0/etc/hadoop]# vim hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.8/ # 根据你的环境变量进行修改

8.配置hadoop：在 /usr/local/hadoop.2.6.5/etc/hadoop/etc中修改

8.1修改hdfs-site.xml配置文件：

dfs.replication 副本数
3

dfs.namenode.secondary.http-address 指定secondaryName
node02:50090

8.2修改core-site.xml配置文件
指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址

fs.defaultFS
hdfs://node01:9000

指定hadoop运行时产生临时文件的存储目录

hadoop.tmp.dir
/var/abc/hadoop/cluster

8.3修改slaves配置文件
修改为node02 node03 node04（设置从节点）
<hadoop进程的从节点,必须竖着写，不能有空格，否则会无法识别
8.4hadoop环境变量的修改
命令：
① cd ~
② vim .bashrc
添加： export HADOOP_HOME=/usr/local/etc/hadoop-2.6.5 hadoop的路径
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

③   source .bashrc       执行，使生效

9.node01的hadoop配置完成：

将配置好的hadoop包发给其他服务器

cd /usr/local/ hadoop所在的上一级目录
scp -r hadoop-2.6.5 node02:pwd 进行传输

在node01上进行格式化namenode
① hdfs namenode -format
②启动HDFS start-dfs.sh
③jps查看
④ stop start-dfs.sh 关闭
11.用来浏览器访问时：关闭每个服务器的防火墙

临时关闭防火墙
service iptables stop
永久关闭防火墙
chkconfig iptables off
查看关闭后的状态
service iptables status