大数据技术之Hadoop——(一)Hadoop简介
前言
hadoop学习笔记,作为个人学习笔记方便自己复习也乐于分享,笔记陆续整理更新,该笔记适合初级入门学习的伙伴,博客练手,第一次写这东西不好的地方还请大家多提建议一、Hadoop概述
1、hadoop是什么?
- Hadoop是一个由Apache基金会所开发的分布式系统基础框架
- 主要解决海量数据的存储与海量数据的分析计算问题
HDFS—> 海量数据的存储 ;MapReduce --> 海量数据的计算 - 广义上说Hadoop通常是是一个生态圈——hadoop生态
2、hadoop发展史
1、Lucene框架是Doug Cutting 开创的开源软件,用java写的,实现了Google类似的全文搜索功能,它提供了全文检索引擎的架构,包括完整的查询引擎和索引引擎。
2、2001年年底Lucene称为Apache基金会的一个子项目
3、对于海量数据的场景,luence面对与Google一样的困难,存储数据的困难,检