Hadoop发展历史

133 篇文章 0 订阅 ¥299.90 ¥399.90
Hadoop是由Apache基金会开发的用于处理海量数据的分布式框架,起源于Google的启发。其发展历史包括从Nutch的优化到2005年正式成为Apache子项目,再到2006年Hadoop的诞生。目前存在三大发行版本:Apache Hadoop、Cloudera Hadoop(CDH)和Hortonworks Hadoop(HDP)。Apache Hadoop是最基础的版本,Cloudera Hadoop在兼容性和安全性上有增强,而Hortonworks Hadoop则包含了Ambari管理工具。Cloudera现已收购Hortonworks。
摘要由CSDN通过智能技术生成

1 Hadoop是什么

1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构

2)主要解决,海量数据的存储和海量数据的分析计算问题。

3)广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈

2 Hadoop 发展历史(了解)

1)Hadoop创始人Doug Cutting,为 了实 现与Google类似的全文搜索功能,他在Lucene框架基础上进行优
化升级,查询引擎和索引引擎。

2)2001年年底Lucene成为Apache基金会的一个子项目。

3)对于海量数据的场景,Lucene框 架面 对与Google同样的困难,存 储海量数据困难,检 索海 量速度慢。

4)学习和模仿Google解决这些问题的办法 :微型版Nutch。

5)可以说Google是Hadoop的思想之源(Google在大数据方面的三篇论文)

  • GFS —>HDFS
  • Map-Reduce —>MR
  • BigTable —>
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

YOLO数据集工作室

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值