qq_41371858的博客

文章目录第1章 概述1.1 Flume定义1.2 Flume组成架构1.2.1 Agent 第1章 概述 1.1 Flume定义 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传 输的系统。Flume基于流式架构，灵活简单。 1.2 Flume组成架构 Flume组成架构如图1-1，图1-2所示： 下面我们来详细介绍一下Flume架构中的组件。 1.2.1 Agent Agent是一个JVM进程，它以事件的形式将数据从源头送至目的，是Flume数据传输的基本单元

1、Yarn基本架构 Yarn 资源调度器 Yarn是一个资源高度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而Mapreduce等运算程序则相当于运行于操作系统之上的应用程序。 Yarn 的基本架构 Yarn主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成，如图： 2、Yarn工作机制 1．Yarn运行机制，如图所示。 2．工作机制详解 （1）MR程序提交到客户端所在的节点。 （2）YarnRun