linux下安装hadoop3.0（全分布式）

一、hadoop3.x的新特性

1. Java版本需要1.8

2. Shell脚本已部分重写(Shell script rewrite)

3. HDFS新特性

• 支持可删除编码(Erasure Coding)使用EC来替代副本机制，可省略大约50%的存储空间，此时副本个数为1就行
• 支持两个及以上的namenode(即一个namenode与多个datanode)
• datanode数据写入平衡
• 默认多个服务端口发生变化

4. YARN新特性

• 改善了Timeline服务的扩展性和稳定性
• 通过流向(flow)和聚合(aggregation)增强可用性
• 支持Opportunistic Containers和分布式调度

5. MapReduce改进

• Task级别的天然优化
• Hadoop进程管理有许多改变

 

二、环境介绍

虚拟机采用cenos6镜像，准备三台虚拟机：

       node1，node2，node3，其中 node1 作为 namenode和datanode，node2作为secondary namenode和datanode，node3作为datanode。

 

三、安装步骤

1. 安装配置jdk

1）解压缩文件（jdk1.8下载，提取码：ene8）

tar -zxvf jdk-8u141-linux-x64.tar.gz

2）配置环境变