本文介绍了大数据技术背景及hadoop的重要性，重点解析了DKhadoop这一国产hadoop商业发行版的框架结构，包括HDFS和MapReduce的核心设计，以及DKhadoop的大数据一体化开发框架和构成模块，旨在帮助读者理解hadoop的架构和应用。
近年，随着互联网的发展特别是移动互联网的发展，数据的增长呈现出一种爆炸式的成长势头。单是谷歌的爬虫程序每天下载的网页超过1亿个（2000年数据，）数据的爆炸式增长直接推动了海量数据处理技术的发展。谷歌公司提出的大表、分布式文件系统和分布式计算的三大技术构架，解决了海量数据处理的问题。谷歌公司随即将设计思路开源，发表了具有划时代意义的三篇论文，很快根据谷歌设计思路的开源框架就出现了，就是如今非常火爆的hadoop、Maperduce和许多Nosql系统。这三大技术也是整个大数据技术的核心基础。
目前国内的hadoop商业发行版也是比较多，这些hadoop商业版大部分都是由国外发行的，纯国产的发行版不是很多，比如DKhadoop，可以说是目前国内自主做hadoop商业版比较好的了。下面就以大快
最低0.47元/天 解锁文章
扫一扫
649
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
