大数据之Hadoop3.0 新特性

最新推荐文章于 2022-08-17 20:41:08 发布
最新推荐文章于 2022-08-17 20:41:08 发布
阅读量181 收藏 1
点赞数 1
分类专栏： 大数据 VIP 文章标签： hdfs hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wzygis/article/details/114583504
版权
VIP 同时被 2 个专栏收录
40 篇文章 26 订阅 ¥19.90 ¥99.00
订阅专栏
大数据
10 篇文章 1 订阅
订阅专栏
Hadoop 3.0版本引入了众多新特性，如Java版本升级到8，支持HDFS的擦除编码以节省存储，YARN时间轴服务v.2提升可扩展性，支持随机container和分布式计划，MapReduce任务级本机优化，以及对多NameNode和多种云存储的兼容。此外，还有守护进程和任务堆管理的改进，提供更好的数据一致性与资源利用率。
摘要由CSDN通过智能技术生成

总览

官网

https://hadoop.apache.org/docs/r3.1.4/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

  1. 最低要求的Java版本从Java 7增加到Java 8
  2. 支持HDFS中的擦除编码
  3. YARN时间轴服务v.2
  4. Shell脚本重写
  5. 支持随机container和分布式计划
  6. MapReduce任务级本机优化
  7. 支持两个以上的NameNode
  8. 多个服务的默认端口已更改
  9. 支持Microsoft Azure Data Lake和Aliyun对象存储系统文件系统连接器
  10. 数据内节点平衡器
  11. 重做的守护程序和任务堆管理
  12. S3Guard：S3A文件系统客户端的一致性和元数据缓存
  13. 基于HDFS路由器的联合
  14. Capacity Scheduler队列配置的基于API的配置
  15. YARN资源类型

介绍

1. 最低要求的

了解本专栏 订阅专栏 解锁全文
0X码上链
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Hadoop 1.0 到 Hadoop 3.0版本功能概述
sunlei1980的专栏
11-22 2336
2003-2004年，Google公布了部分GFS和MapReduce思想的细节，受此启发的Doug Cutting等人用2年的业余时间实现了DFS和MapReduce机制，使Nutch性能飙升。然后Yahoo招安Doug Gutting及其项目。2005年，Hadoop作为Lucene的子项目Nutch的一部分正式引入Apache基金会。2006年2月被分离出来，成为一套完整独立的软件，起名为HadoopHadoop名字不是一个缩写，而是一个生造出来的词。是Hadoop之父Doug Cutting儿子毛.
hadoop3.0新特性
wshyb0314的博客
07-29 1760
1、概要 1. 基于jdk1.8（最低版本要求） 2. mr采用基于内存的计算，提升性能（快spark 10倍） 3. hdfs 通过最近black块计算，加快数据获取速度(块大小：256M) 4. 支持多NameNode(实现了更加可靠的HA) 5. 引入EC纠删码技术(EC: Erasure Coding) 存储空间节省50% 6. 精简了内核 7．hadoop sh...
Hadoop3.0的新特性
python的博客
08-03 3182
1. Hadoop3.0简介 Hadoop 2.0是基于JDK 1.7开发的，而JDK 1.7在2015年4月已停止更新，这直接迫使Hadoop社区基于JDK1.8重新发布一个新的Hadoop版本，而这正是hadoop 3.0。 Hadoop 3.0的alpha版预计今年夏天发布，GA版本11月或12月发布。 Hadoop 3.0中引入了一些重要的功能和优化，包括HDFS
hadoop-3.0新特性
weixin_30362801的博客
05-08 177
1.纠删码将数据存储空间节省50% hadoop-3.0之前，HDFS存储方式为每一份数据存储3份，这也使得存储利用率仅为1/3， hadoop-3.0引入纠删码技术(EC技术)，实现1份数据+0.5份冗余校验数据存储方式 2.Shell脚本重写 （1）增加了参数冲突检测，避免重复定义和冗余参数 （2）CLASSPATH, JAVA_LIBRARY_PATH, and LD_LIBRA...
hadoop 3.0新特性简单介绍
一亩三分地
07-27 9688
过去十年，Apache Hadoop从无到有，从理论概念演变到如今支撑起若干的生产集群。接下来的十年，Hadoop将继续壮大，并发展支撑新一轮的更大规模、高效和稳定的集群。 本文将向大家全面介绍即将到来的Apache Hadoop 3.0新版本——从版本发布状态、背后的故事，到如HDFS erasure coding、YARN federation、NN k-safety等全新的...
Hadoop 3.0 新特性原理及架构分析
06-09
Hadoop 3.0 视频教程，经过多年的发展，Hadoop已经日趋成熟，3.0版本发布，预示着Hadoop进入了新的发展阶段，那么Hadoop3.0有哪些内容，哪些值得注意的地方？都是我们值得研究的部分，该课程将重点介绍Hadoop 3.0在...
零基础学习Hadoop3.0从入门到源码
04-10
│ ├─视频-零基础学习Hadoop3.0-HDFS从入门到源码 │ │ │ 00--课程内容大纲和学习目标.mp4 │ │ │ 01--大数据课程导论--大数据概念.mp4 │ │ │ 02--大数据课程导论--大数据特点（5V特征）.mp4 │...
Hadoop3.0新特性介绍
yang灬仔
12-19 1455
Hadoop3.0新特性介绍，比Spark快10倍的Hadoop3.0新特性 Apache hadoop 项目组最新消息，hadoop3.x以后将会调整方案架构，将Mapreduce 基于内存+io+磁盘，共同处理数据。 其实最大改变的是hdfs,hdfs 通过最近black块计算，根据最近计算原则，本地black块，加入到内存，先计算，通过IO，共享内存计算区域，最后快速形成计算结果。 1....
hadoop-3.0.3
10-24
hadoop-3.0.3 的linux 安装包！
hadoop3.0.0安装和配置
10-23
hadoop3.0.0安装和配置hadoop3.0.0安装和配置hadoop3.0.0安装和配置hadoop3.0.0安装和配置hadoop3.0.0安装和配置hadoop3.0.0安装和配置hadoop3.0.0安装和配置hadoop3.0.0安装和配置hadoop3.0.0安装和配置
Hadoop之3.0新特性
吴成伟的博客
02-21 219
将默认的最低jdk从7升级到8 纠删码可以将3倍副本占据的空间压缩到1.5倍，并保持3倍副本的容错。由于在读取数据的时候需要进行额外的计算，用于存储使用不频繁的数据 通过扩展YARN的资源类型，支持CPU和内存之外的其他资源，如GPU、FPGA、软件许可证、本地存储等。 重写了hadoop中的shell脚本，修复了很多长期存在的bug并添加了新特性。有一些改进兼容老版本，有一些不兼容。 对map...
Hadoop3.0版本新特性
雾幻的博客
04-12 2344
Hadoop 2.0是基于JDK 1.7开发的，而JDK 1.7在2015年4月已停止更新，这直接迫使Hadoop社区基于JDK 1.8重新发布一个新的Hadoop版本，而这正是hadoop 3.0。 Hadoop 3.0中引入了一些重要的功能和优化，包括HDFS 可擦除编码、多Namenode支持、MR Native Task优化、YARN基于cgroup的内存和磁盘IO隔离、YARN con...
Hadoop3.0新特性
m0_52931616的博客
08-17 743
Hadoop3.0新特性
Hadoop 3的新特性
wilder2000的专栏
03-26 430
相对于之前主要生产发布版本Hadoop 2，Apache Hadoop 3整合许多重要的增强功能。 Hadoop 3是一个可用版本，提供了稳定性和高质量的API，可以用于实际的产品开发。下面简要介绍一下Hadoop3的主要变化。 最低Java版本要求从Java7变为Java8 所有Hadoop的jar都是基于Java 8运行是版本进行编译执行的，仍在使用Java 7或更低Java版...
Hadoop3.0大数据平台性能测试与分析
"本文主要探讨了Hadoop 3.0大数据平台的性能测试，尤其是在英语演讲艺术的课程背景下，结合湖北大学的教学实践。文章指出，Hadoop作为一种开源的分布式系统基础设施，因其高扩展性、高可靠性、高容错性和低成本而被...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

0X码上链

你的鼓将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值