Hadoop3 新特性、端口号的改变(二)

Hadoop版本

  • Haddoop1.x
  • Haddoop2.x
  • Haddoop3.x

Haddoop3.0 GA 版本于2017年12月份正式发布下面来说一下版本号后面的后缀表示的含义

  • Alpha:内部测试版
  • Beta:对外测试版(有点像iphone发布最新ios11的时候都会先发布Beta版本让大家去测试)
  • GA:general availability 官方正式发布版
  • Release 发布版
    所以我们在工程上要用 GA 版本

Hadoop 3 新特征

  • 基于JDK1.8(最低版本要求)
  • 剔除过期的API和实现,废弃hftp转为webhfs替代
  • Classpath isolation:新增的防止不同版本 jar 包冲突
  • Shell重写 (修复了Hadoop2脚本的bug,启动时的脚本命令也有不同,建议运行Hadoop3的脚本,大概有三分之一的地方不一样)
  • 支持HDFS的擦除编码 Erasure Encoding:默认EC策略可以节省50%的存储空间,同时还可以承受更多的存储故障(还在Haddoop2的基础上增加恢复功能)
  • DataNode 内部添加了负载均衡 Disk Balancer,磁盘之间的负载均衡(假定有3台服务器的磁盘都满了数据,数据存储在DataNode当中,可以在买一块磁盘插入,但其他磁盘还是满的,新磁盘是空的,这就产生了数据倾斜,所以Hadoop3提供了 Disk Balancer 磁盘平衡器自动帮我们将满磁盘分配到其他磁盘当中)
  • MapReduce任务级本地优化
  • MapReduce内存参数自动推断
    • mapreduce.{map,reduce}.memory.mb和mapreduce.{map,reduce}.java.opts (在Hadoop2中是需要配置这两项,但在3中就会根据任务执行级别自动推断所需要的内存,所以3比2要快)
    • 基于 cgroup 的内存隔离和 IO Disk 隔离
    • 支持更改分配容器的资源 Container resizing

Hadoop 3 端口号的改变

分类应用Haddop 2.x portHaddop 3 port
NNPortsNamenode80209820
NNPortsNN HTTP UI500709870
NNPortsNN HTTPS UI504709871
SNN portsSNN HTTP500919869
SNN portsSNN HTTP UI500909868
DN portsDN IPC500209867
DN portsDN500109866
DN portsDN HTTP UI500759864
DN portsNamenode504759865
  • 4
    点赞
  • 25
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值