本文介绍了淘宝的Hadoop集群"云梯"，它是中国规模最大的单Master节点Hadoop集群，拥有2860个节点，存储容量达50PB。淘宝对Hadoop进行了深度重构，开发了ADFS解决NameNode的单点故障和内存瓶颈问题，以及实施HDFS Raid技术以提高存储经济性。此外，"云梯"还在不断优化中，未来计划发展为多Master节点Hadoop集群。
【文章摘要】据悉，淘宝Hadoop集群拥有2860个节点，清一色基于英特尔处理器的x86服务器，其总存储容量50PB，实际使用容量超过40PB，日均作业数高达15万，为淘宝网的日常运营做出了关键支撑。对了，它还有一个很美丽的名字：“云梯”。
当下中国超大规模的单Master节点Hadoop集群在哪里？在淘宝。
据悉，淘宝Hadoop集群拥有2860个节点，清一色基于英特尔处理器的x86服务器，其总存储容量50PB，实际使用容量超过40PB，日均作业数高达15万，为淘宝网的日常运营做出了关键支撑。对了，它还有一个很美丽的名字：“云梯”。
近日，《网络世界》记者有幸采访到了阿里集团技术共享平台核心系统研发部海量数据技术专家罗李。作为淘宝“云梯”集群元老级创建者，以及目前的负责人，他详细讲解了Hadoop在淘宝的应用与发展。
“云梯”的前世今生
“在2008年之前，淘宝内部一些业务团队，纷纷搭建了自己的Hadoop集群，但规模都很小，出了问题也都各自解决。”罗李说，“考虑到淘宝的业务确实对分布式计算系统有需要，再加上这种分散模式小集群的资源利用率不高，整个集团就决定建立一个统一的、大的分布式计算集群，为各业务线服务。”
至于为什么选择Hadoop，罗李表示
最低0.47元/天 解锁文章
扫一扫
7396
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
