hadoop 概要

处理海量数据的核心技术：
海量数据存储：分布式
海量数据运算：分布式

存储框架：
HDFS——分布式文件存储系统（HADOOP中的存储框架）
HBASE——分布式数据库系统
KAFKA——分布式消息缓存系统(实时流式数据处理场景中应用广泛)

运算框架：（要解决的核心问题就是帮用户将处理逻辑在很多机器上并行）
MAPREDUCE—— 离线批处理/HADOOP中的运算框架
SPARK —— 离线批处理/实时流式计算
STORM —— 实时流式计算

辅助类的工具（解放大数据工程师的一些繁琐工作）：
HIVE —— 数据仓库工具：可以接收sql，翻译成mapreduce或者spark程序运行
FLUME——数据采集
SQOOP——数据迁移
ELASTIC SEARCH —— 分布式的搜索引擎