Hadoop的介绍以及发展历史

黑暗森林`

于 2020-10-07 11:39:30 发布

阅读量5.2k

点赞数 5

分类专栏： Hadoop 文章标签： hadoop

本文链接：https://blog.csdn.net/weixin_44704605/article/details/108949056

版权

17 篇文章 0 订阅

订阅专栏

Hadoop的介绍以及发展历史
在这里插入图片描述

Hadoop最早起源于lucene下的Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。
2003年、2004年谷歌发表的三篇论文为该问题提供了可行的解决方案。
——分布式文件系统（GFS），可用于处理海量网页的存储
——分布式计算框架MAPREDUCE，可用于处理海量网页的索引计算问题。
——分布式的结构化数据存储系统Bigtable，用来处理海量结构化数据。
Doug Cutting基于这三篇论文完成了相应的开源实现HDFS和MAPREDUCE，并从Nutch中剥离成为独立项目HADOOP，到2008年1月，HADOOP成为Apache顶级项目(同年，cloudera公司成立)，迎来了它的快速发展期。
为什么叫Hadoop? Logo为什么是黄色的大象？
狭义上来说，Hadoop就是单独指代Hadoop这个软件（HDFS+MAPREDUCE）
广义上来说，Hadoop指代大数据的一个生态圈（Hadoo

关注