Hadoop3.X的新特性

原创 2018年04月16日 17:29:39

Hadoop3.0.0版本的新特性:

  1. Java最低版本要求从Java7更改成Java8
  2. HDFS支持纠删码(Erasure Coding)
  3. 引入YARN的时间轴服务v.2(YARN Timeline Service v.2)
  4. 重写了shell脚本
  5. 隐藏底层jar包(shaded client jars)
  6. 支持containers和分布式调度
  7. MapReduce任务级本地优化
  8. 支持多于两个的NameNodes
  9. 改变了多个服务的默认端口(例如:HDFS的web界面,端口由50070变成9870)
  10. 支持Microsoft Azure Data Lake文件系统(这个文件系统可以更轻松的存储任何大小、形状和速度的数据以及跨平台和语言进行各种类型的处理和分析,消除了出入和存储所有数据的复杂性,同时启动更快,可批量、流式、交互式分析仪器运行。)
  11. Intra-datanode(用Intra解决DataNode宕机负载不均衡的问题)
  12. 重写守护进程以及任务的堆内存管理
  13. 使用S3Guard进行AMAZON S3一致性(解决客户端同时进行查询、上传操作时,数据元和显示给客户端的数据不一致问题)

Hadoop3.1.0版本的新特性:

  1. It supports both docker container and traditional process based containers in YARN.(支持docker container和传统的基于流程的container)
  2. First-class GPU scheduling and isolation (For both docker/non-docker containers) on YARN.(在YARN上支持一流的GPU调度)
  3. First-class FPGA scheduling and isolation (For both docker/non-docker containers) on YARN.(在YARN上支持一流的FPGA调度)
  4. Support more expressive placement constraints in YARN. (YARN 新的调度放置策略)
  5. Support administrators to specify absolute resources (X Memory, Y VCores, Z GPUs, etc.) to a queue instead of providing percentage based values. This provides better control for admins to configure required amount of resources for a given queue.(容量调度(Capacity Scheduler):支持在执行队列映射时自动创建叶队列)
  6. Provided storage allows data stored outside HDFS to be mapped to and addressed from HDFS. It builds on heterogeneous storage by introducing a new storage type, PROVIDED, to the set of media in a DataNode.(允许将存储在 HDFS 之外的数据映射到 HDFS 并从 HDFS 进行寻址。)

按照官网和牛人博客(过往记忆)进行整理,由于学识有限,若有问题请及时指出,避免误导他人,谢谢。

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Sven119/article/details/79962593

hadoop3新特性

Apache  hadoop 项目组最新消息,hadoop3.x以后将会调整方案架构,将Mapreduce 基于内存+io+磁盘,共同处理数据。 其实最大改变的是hdfs,hdfs 通过最近blac...
  • chj_xc
  • chj_xc
  • 2017-02-07 10:28:59
  • 1665

Hadoop3.x系统文档

  • 2018年03月23日 14:58
  • 1.61MB
  • 下载

Hadoop3.0通用版集群安装高可靠详细教程【包括零基础】

问题导读1.hadoop3.x检测虚拟内存的情况下,可能会产生什么问题?2.hadoop3.x中,下面各个配置的作用是什么?3.dfs.blocksize可以使用哪些单位?转载注明来自about云:链...
  • c36qUCnS2zuqF6
  • c36qUCnS2zuqF6
  • 2018-01-11 00:00:00
  • 243

Hadoop的版本介绍

0.20.x版本最后演化成了现在的1.0.x版本 0.23.x版本最后演化成了现在的2.x版本 hadoop 1.0 指的是1.x(0.20.x),0.21,0.22 hadoop ...
  • wind520
  • wind520
  • 2014-07-14 11:00:03
  • 10339

about云课程:hadoop3.0学习:安装部署hadoop集群

描述 课程目标让零基础初学者能够直接入门hadoop3.0,详细了解集群的安装、配置,及以后该如何进一步熟悉hadoop3.0适用人群hadoop零基础,了解hadoop2.x,帮助快速、详细入门ha...
  • c36qUCnS2zuqF6
  • c36qUCnS2zuqF6
  • 2018-02-21 00:00:00
  • 132

hadoop3.X比hadoop2.x的改进

Common主要改进:    Shell script rewrite     过时API删除HDFS改进:    支持erasure编码    支持超过两个namenode    数据均衡    多...
  • qq_35283816
  • qq_35283816
  • 2018-04-02 10:58:53
  • 92

hadoop-3.0新特性

Hadoop 3.0中引入纠编码、多Namenode支持、MR Native Task优化、YARN基于cgroup的内存和磁盘IO隔离、YARN container resizing等等。...
  • lookqlp
  • lookqlp
  • 2016-08-10 15:49:51
  • 10498

hadoop2.x编译(三)

手把手完成hadoop2.7.1的64位编译任务
  • greatplain
  • greatplain
  • 2015-08-31 15:04:23
  • 563

大数据基础:Hadoop2.x生态系统(一)

一、基础概念 & 适用场景 1、分布式文件系统(HDFS) HDFS是Hadoop分布式文件系统,HDFS有如下技术特点和应用场景: 适合处理超大文件,数量级达到GB、TB甚至PB级支持集群规模...
  • u010823625
  • u010823625
  • 2017-03-26 19:12:52
  • 652

零基础hadoop3.x集群安装

课程详细讲解了集群安装准备知识,及为什么准备这些知识。hadoop3.x集群安装中,详细讲解了3.0常用配置的作用,在使用Linux的过程中,补充了Linux使用的一些基础知识。
  • 2018年02月20日 16:52
收藏助手
不良信息举报
您举报文章:Hadoop3.X的新特性
举报原因:
原因补充:

(最多只允许输入30个字)