Apache Hadoop是一个开源的分布式计算框架，由HDFS、YARN和MapReduce核心组件构成，支持大规模数据处理。从Nutch项目发展而来，受Google的GFS和MapReduce启发，Hadoop已成为大数据领域的基石，广泛应用于互联网公司如Yahoo、Facebook以及国内的BAT等，涉及广告系统、用户行为分析、日志处理等多个场景。Hadoop具有高扩展性、低成本、高效能和高可靠性等特点。
1.Hadoop介绍
Hadoop是Apache 旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。
狭义上说，Hadop指Apache这款开源框架，它的核心组件有：
HDFS（分布式文件系统）：解决海量数据存储
YARN（作业调度和集群资源管理的框架）：解决资源任务调度
MMPREDUCE(分布式运算编程框架）：解决海量数据计算
广义上来说，Hadoop通常愿指一个更厂泛的概念——Hadoop生态圈。
当下的Hadoop已经成长为一个庞大的体系，随着生态系统的成长，新出现的项目越来越多，其中不乏一些非Apache主管的项目，这些项目对HADOOP是很好的补充或者更高层的抽象。比如：
HDFS：分布式文件系统
MAPREDUCE:分布式运算程序开发框架
HIVE：磨于HADOOP到分布式数据仓库，提供基于SOL的查询数据操作
HBASE:基于HADOOP的分布式海量数据库
Z00KEEPER:分布式协调服务基础组件
Mahout:基于mapreduce/spark/flink等分布式运算框架的机器学习算法库
0ozie:工作流调度框架
Sqoop:数据导入导出工具（比如用于mysql和HDFS之间)
Flume:日志数据采集框架
Impala：基于Hadoop的实时分析
2.Hadoop发展简史
Hadoop是Apache Lucene创始人Doug cutting创建的。最早起源于Nutch，它是Lucene的子项目。Nu
最低0.47元/天 解锁文章
扫一扫
1843
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
