Hadoop源于Google的三篇技术论文，由Doug Cutting在Yahoo开发，现为Apache开源项目。它包括HDFS、Yarn和MapReduce，提供高可靠性、扩展性和容错性的大数据处理。Hadoop分为1.*和2.*, 2.*引入Yarn以提高效率和模块化。Hadoop在大数据技术生态中扮演重要角色，与多种相关技术共同构建大数据解决方案。"
4590418,677834,企业人事档案管理系统开发与设计,"['数据库', '工作', '数据分析', 'sql server', '企业管理']
Hadoop生态圈
What is Hadoop?
Hadoop思想来源
Google是Hadoop思想和技术的来源. 具体来说就是Hadoop的" 三驾马车" --Google 发布的三篇技术思想论文:
- The Google File System
- MapReduce_Simplified Data Processing on Large Clusters
- Bigtable_A Distributed Storage System for Structured Data
Hadoop的历史
Hadoop作者Doug Cutting , 他在Yahoo就职期间开发了Hadoop项目. 2003-2004年, Google公开GFS和MapReduce思想细节后, Doug Cutting等人以此为基础利用业余时间实现DFS和MapReduce机制. Hadoop名字的来源是Doug儿子的大象玩具.
2005年Hadoop作为Lucene的子项目Nutch的一部分被正式引入Apache基金会. 06年MapReduce和Nutch Distributed File System(NDFS)被纳入Hadoop项目.
至此, Hadoop作为一个分布式系统基础架构由Apache基金会所开发并以开源的形式提供给开发者. 主要用来解决海量数据的存储和计算处理.
广义上来讲, Hadoop一般指Hadoop生态圈, 圈中有如下图众多的技术:
最低0.47元/天 解锁文章
扫一扫
1217
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
