Yahoo的新一代大数据技术架构解析

本文介绍了Yahoo在Hadoop基础上推进的新一代大数据技术架构,包括核心YARN、计算处理框架如Spark和Storm,以及存储层的HDFS和HBase。YARN作为操作系统的角色提升了性能和扩展性,支持多种计算框架,而Spark和Storm分别处理批处理和实时流数据分析,实现了大数据的离线、近线和实时整合。
摘要由CSDN通过智能技术生成

Hadoop是当前最流行的大数据技术架构,很多大数据应用都是建立在Hadoop平台基础之上。很多人都知道Hadoop是Apache基金会的顶级开源项目,但

Hadoop是当前最流行的大数据技术架构,很多大数据应用都是建立在Hadoop平台基础之上。很多人都知道Hadoop是Apache基金会的顶级开源项目,但并不是每个人都知道,在Hadoop的演进发展中,70%的贡献是来自Yahoo公司。
 

Yahoo公司是Hadoop平台最大的用户、最有力的应用支持者和Hadoop商业化的重要推动者,Hadoop一直是Yahoo公司云计算平台的核心,Yahoo公司最大的单个Hadoop集群由4000个节点组成,Yahoo公司的推荐系统、广告分析等应用均建立在Hadoop分布式计算平台上,Yahoo公司通过开发者论坛等方式每年培养了大量掌握Hadoop平台的专业技术人员,Yahoo公司分拆出来并投资的Hadoop技术研发部门-Hortonworks目前是全球发展最快的Hadoop商业化公司之一。Yahoo 公司并没有躺在这些成绩上沾沾自喜,相反他们在积极推进Hadoop2.0——Yahoo新一代大数据技术架构。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值