【大数据 hadoop】hadoop生态圈

hadoop生态圈

hadoop提供的功能，利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理

核心组件：
A、HDFS 分布式文件系统
B、YARN 运算资源调度系统
C、MAPREDUCE 分布式运算编程框架

生态圈

sprak

storm

flume

hive

hbase

hadoop在大数据、云计算中的位置和关系

云计算是分布式计算、并行计算、网络计算、多核计算、网络存储、虚拟化、负载均衡等传统计算机技术和互联网技术融合发展的产物。借助laas(基础设施即服务)、PaaS(平台即服务)、SaaS(软件即服务)等业务模式，把强大的计算能力提供给终端用户

现阶段，云计算的2大底层支撑技术：虚拟化、大数据技术

hadoop是云计算的PaaS层的解决方案之一

应用场景

1、用户画像 数据分析
2、网站点击流日志分析 数据挖掘
3、数据服务基础平台建设

---

基础

离线计算

实时

内存计算