Hadoop介绍

Hadoop HDFS MapReduce

Hadoop是Apache基金会所开发的分布式系统基础架构。最核心的设计就是：HDFS和MapReduce。

• HDFS为海量的数据提供了存储
• MapReduce则为海量的数据提供了计算

HDFS 分布式文件系统（Hadoop Distributed File System）可以把低廉的硬件设备，比如废旧主机。联系起来组成分布式集群，实现存储海量数据、高吞吐量和高容错性，性能远高于一般数据库（Mysql Oracle）

• NameNode节点： 存放元数据信息，记录真实数据的存储位置
• Secondary NameNode节点： 合并fsimage镜像和logs日志
• DataNode节点： 存放真实数据

MapReduce 海量数据并行计算，运行在HDFS之上。主要功能是海量数据的查询、处理、计算等功能

Yarn模块，用来调度MapReduce的任务

• NodeManager 节点管理
• ResourceManager 资源管理

Hadoop搭建3种方式：

• Local (Standalone) Mode 本地（独立）模式
• Pseudo-Distributed Mode 伪分布式模式
• Fully-Distributed Mode 完全分布式模式

转载于:https://www.cnblogs.com/linyufeng/p/10829099.html