hadoop-概述

Hadoop是什么：Hadoop是由apache基金会所开发的分布式系统基础架构

Hadoop的主要功能：

• 提供海量数据的存储服务
• 提供分析海量数据的编程框架和运行平台

Hadoop的优势：

• 高可靠性
• 高扩展性
• 高效性
• 高容错性

分布式文件系统：切块存储，副本备份

普通文件系统：不管文件多大都直接放在节点上，负载不均衡造成资源的浪费

Hadoop的三个核心组件：

• HDFS 分布式文件系统 是分布式计算中数据存储管理的基础
• yarn 分布式资源调度 可以接收计算的任务把它分配到集群个节点处理
• MapReduce 分布式运算框架 用于大规模数据集的并行运算

Hadoop的生态圈：hbase,hive,zookeeper,sqoop,Flume,spark等