hadoop3.0新特性

最新推荐文章于 2024-07-10 15:41:46 发布

IT自学妹

最新推荐文章于 2024-07-10 15:41:46 发布

阅读量1.7k

点赞数 1

分类专栏：大数据文章标签：大数据 hadoop

本文链接：https://blog.csdn.net/wshyb0314/article/details/81268552

版权

本文详细介绍了Hadoop 3.0的主要新特性，包括Shell脚本的改进，精简内核，Classpath隔离，JDK最低版本升至1.8，支持Microsoft Azure Data Lake文件系统等。此外，还涵盖了HDFS的纠删码技术、基于HDFS路由器的联合、MapReduce任务级本地优化以及YARN的新功能，如Timeline Service v.2和资源类型的扩展。

摘要由CSDN通过智能技术生成

1、概要

1. 基于jdk1.8（最低版本要求）

2. mr采用基于内存的计算，提升性能（快spark 10倍）

3. hdfs 通过最近black块计算，加快数据获取速度(块大小：256M)

4. 支持多NameNode(实现了更加可靠的HA)

5. 引入EC纠删码技术(EC: Erasure Coding) 存储空间节省50%

6. 精简了内核

7．hadoop shell脚本重构

8．默认端口修改

9.支持数据的balancer（平衡）Intra-datanode均衡器

10. 基于API来配置 Capacity Scheduler 队列的配置

大数据课程学习链接

领取相关资料可以加小编微信获取哦：mipi946

2、主要变动介绍总架构的改变>> 1. Shell脚本重写（1）增加了参数冲突检测，避免重复定义和冗余参数
（2）CLASSPATH, JAVA_LIBRARY_PATH, and LD_LIBRARY_PATH等参数的去重，缩短环境变量
（3）shell脚本重构，将更多的代码加入function中，提供重载，删除重复代码，便于测试
（4）脚本清理和简化
（5）尽可能与当前系统保持兼容
（6）提供一份Hadoop环境变量列表

(7) 提供一份Hadoop环境变量列表 Shell脚本现在支持一个–debug选项，它将报告有关各种环境变量，java选项，classpath等构造的基本信息，以帮助进行配置调试。
(8) 增加了distch和jnipath子命令到hadoop命令。
(9) 触发ssh连接的操作现在可以使用pdsh（如果已安装）。$ {HADOOP \ _SSH \ _OPTS}仍然被应用。