Hadoop3.X的新特性

最新推荐文章于 2022-08-17 20:41:08 发布

剑行极锋

最新推荐文章于 2022-08-17 20:41:08 发布

阅读量1.4k

点赞数

分类专栏： Sven_Hadoop 文章标签： hadoop3.X 新版本特性

本文链接：https://blog.csdn.net/Sven119/article/details/79962593

版权

Hadoop3.0.0引入了Java8最低版本要求、HDFS纠删码、YARN时间轴服务v.2等新特性；3.1.0版本增加了对docker和传统容器的支持，以及GPU和FPGA的一流调度，同时支持更灵活的资源分配策略和外部存储映射。这些变化提升了系统的性能和资源管理效率。

摘要由CSDN通过智能技术生成

Java最低版本要求从Java7更改成Java8
HDFS支持纠删码（Erasure Coding）
引入YARN的时间轴服务v.2（YARN Timeline Service v.2）
重写了shell脚本
隐藏底层jar包（shaded client jars）
支持containers和分布式调度
MapReduce任务级本地优化
支持多于两个的NameNodes
改变了多个服务的默认端口（例如：HDFS的web界面，端口由50070变成9870）
支持Microsoft Azure Data Lake文件系统（这个文件系统可以更轻松的存储任何大小、形状和速度的数据以及跨平台和语言进行各种类型的处理和分析，消除了出入和存储所有数据的复杂性，同时启动更快，可批量、流式、交互式分析仪器运行。）
Intra-da

关注

专栏目录