前段时间读完了谷歌的三大论文,现在开始正式学习hadoop,今天就先整理一下hadoop的一些基本要点。
一.从起源开始聊起
hadoop的起源也就是谷歌著名的三大论文,或者可以说是谷歌三大论文的开源实现。Hadoop的核心组件有三个:HDFS,Hadoop MapReduce,HBase,分别是谷歌的GFS,Google MapReduce和BigTable的开源实现。
另外,有趣的是,Hadoop名字不是一个缩写,而是一个生造出来的词。是Hadoop之父Doug Cutting儿子毛绒玩具象命名的。
https://blog.csdn.net/zhongqi2513/article/details/80215748这篇文章为我们详细介绍了hadoop自2002诞生之初到现在的详细发展历史,有兴趣的读者可以了解一下。
二.Hadoop的概念
Hadoop在官方上的解释是:hadoop是一个分布式系统基础架构,由apache基金会开发,用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。
所以说,hadoop主要解决的是海量数据的储存和计算的问题。可以用于搭建大型数据仓库,PB级数据的存储,处理,分析,统计等业务。
hadoop可以分为狭义和广义两种:
1、 狭义的Hadoop只是Hadoop本身 (HDFS+MapReduce)。
2、 广义的Hadoop指的是Hadoop生态系统,Hadoop生态系统是一个很庞大的概念,hadoop是其中最重要最基础的一个部分