Hadoop 开源的,可靠的,可扩展的分布式并行计算框架,主要组成分布式文件系统HDFS
和MapReduce计算模型
HDFS:文件分开存在不同的电脑
作者:Doug Cutting
语言是Java开发
Google带给我们的关键技术和思想的
GFS(Google的文件存储系统),Map-Reduce(做计算),Bigtable(对应HBase)
节点指的是计算机
Hadoop的四个模块
hadoop Common:为其他的hadoop模块提供基础设施
hadoop HDFS:一个高可靠,高吞吐量的分布式文件系统
hadoop MapReduce:一个分布式的离线并行计算框架
将计算分为两个阶段Map和Reduce :
Map阶段并行处理输入数据
Reduce阶段对Map结果进行汇总
Shuffle连接Map和Reduce两个阶段:
Map Task将数据写到本地磁盘
Reduce Task从每个Map Task上读取一个份数据
仅合适离线批量处理
具有很高的容错性和扩展性
合适简单的批处理任务
缺点明显:
启动开销大,过多使用磁盘导致效率低下
hadoop YARN :一个新的MapReduce框架,任务调度和资源管理