hadoop安装前准备环境

1.hadoop3.0新特性

1）classpath  isolation   ----防止不同jar包冲突

2）shell重写      3）支持hdfs中的擦出编码erasure  encoding  恢复数据，节省50%的存储空间，可以承受更多的故障

4）datanode  内部添加了负载均衡 disk  balance        5） MR存储参数自动推断

6）端口的变化：

HDFS的HA，指的是在一个集群中存在两个NameNode，分别运行在独立的物理节点上。在任何时间点，只有一个NameNodes是处于Active状态，另一种是在Standby状态。 Active NameNode负责所有的客户端的操作，而Standby NameNode用来同步Active NameNode的状态信息，以提供快速的故障恢复能力。
为了保证Active NN与Standby NN节点状态同步，即元数据保持一致。除了DataNode需要向两个NN发送block位置信息外，还构建了一组独立的守护进程”JournalNodes”,用来同步FsEdits信息。当Active NN执行任何有关命名空间的修改，它需要持久化到一半以上的JournalNodes上。而Standby NN负责观察JNs的变化，读取从Active NN发送过来的FsEdits信息，并更新自己内部的命名空间。一旦ActiveNN遇到错误，Standby NN需要保证从JNs中读出了全部的FsEdits，然后切换成Active状态。

安装前准备：  java

1.配置NTP服务

检查每台服务器所在的时区

# date –R

如果不是+800,如要通过如下命令调整：

# rm  -rf /etc/localtime
# ln -s /usr/share/zoneinfo/Asia/Shanghai  /etc/localtime

安装ntp服务：

# rpm -qa | grep ntp      --查看ntp软件包是否已安装
# yum  -y install ntp     --如果没有那就需要安装ntp

修改ntp的配置文件（PC1）

# vi /etc/ntp.conf 
* 去掉第18行的# 修改成自己的网段

restrict 192.168.111.0 mask 255.255.255.0 nomodify notrap1

注释以下几行：

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

2.修改hosts文件

3.免密钥 node01到 node01----node04

node01  ：生成公钥与私钥：

node01----node04 ：都要执行     ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

将密钥分发给node02----node04：  scp id_dsa.pub  root@node02:/home/  

scp id_dsa.pub  root@node03:/home/  

scp id_dsa.pub  root@node04:/home/

在node02中执行： cat /home/id_dsa.pub >> ~/.ssh/authorized_keys

在node03中执行： cat /home/id_dsa.pub >> ~/.ssh/authorized_keys

在node04中执行： cat /home/id_dsa.pub >> ~/.ssh/authorized_keys

node02到node01------node04免密钥：