Hadoop是一个基于Java的开源软件框架，用于处理和存储大规模数据。它由HDFS、YARN和MapReduce组成，提供了高扩展性、低成本、高效能和可靠性的大数据解决方案。Hadoop的发展受到Google技术的启发，广泛应用于互联网公司如Yahoo、Facebook以及国内的BAT等，支持广告系统、用户行为分析等多种业务。其优点在于分布式存储和计算能力，适合各种行业的海量数据处理需求。
1． Hadoop介绍
Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。
狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：
HDFS(分布式文件系统)：解决海量数据存储
YARN(作业调度和集群资源管理的框架)：解决资源任务调度
MAPREDUCE(分布式运算编程框架)：解决海量数据计算
广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。
当下的Hadoop已经成长为一个庞大的体系，随着生态系统的成长，新出现的项目越来越多，其中不乏一些非Apache主管的项目，这些项目对HADOOP是很好的补充或者更高层的抽象。比如：
HDFS：分布式文件系统
MAPREDUCE：分布式运算程序开发框架
HIVE：基于HADOOP的分布式数据仓库，提供基于SQL的查询数据操作
HBASE：基于HADOOP的分布式海量数据库
ZOOKEEPER：分布式协调服务基础组件
Mahout：基于mapreduce/spark/flink等分布式运算框架的机器学习算法库
OOZIE：工作流调度框架
Sqoop：数据导入导出工具(比如用于mysql和HDFS之间)
FLUME：日志数据采集框架
IMPALA：基于hive的实时sql查询分析
2． Hadoop发展简史
Hadoop是Apache Lucene创始人 Doug Cutting创建的。最早起源于Nutch，它是Lucene的子项目。Nut
最低0.47元/天 解锁文章
扫一扫
721
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
