总结：大数据几个重要框架的结构框图

一、Hadoop

 

二、HA集群模式

主机名 IP 安装的软件 运行的进程

host   192.168.33.129   jdk、hadoop   NameNode、DFSZKFailoverController(zkfc)

mini1 192.168.33.130   jdk、hadoop   NameNode、DFSZKFailoverController(zkfc)

mini2 192.168.33.131   jdk、hadoop   ResourceManager

mini3 192.168.33.132   jdk、hadoop   ResourceManager

mini4 192.168.33.133   jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain

mini5 192.168.33.134   jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain

mini6 192.168.33.135   jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain

 

三、Hive 模式

备注：所以hive的运行离不开Hadoop。

四、Flume框架图解

 备注：在linux上启动agent，来获取数据。根据配置文件确定数据的来源与目的

五、Azkaban不介绍，sqoop的运行机制如下

 

六、Hbase图解 一个HMaster多个HRegionServer

HBase采用Master/Slave架构搭建集群。

由以下类型节点组成：HMaster节点、HRegionServer节点、ZooKeeper集群。

而在底层，它将数据存储于HDFS中，因而涉及到HDFS的NameNode、DataNode等。

七、Storm图解

 

Storm类似与Hadoop：

NameNode  ---> DataNode1、 DataNode2、DataNode3……

nimbus  --->supervisor1、 supervisor2、supervisor3……

八、Kafka

每个集群叫做broker，分配brokerID

 

九、Spark

一个Master管理多个worker构成集群