大数据
阿朱__
业精于勤,毁于嬉。行成于私,毁于随。
展开
-
Flume学习记录,记录学习时刻。
文章目录第1章 概述1.1 Flume定义1.2 Flume组成架构1.2.1 Agent第1章 概述1.1 Flume定义Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。1.2 Flume组成架构Flume组成架构如图1-1,图1-2所示:下面我们来详细介绍一下Flume架构中的组件。1.2.1 AgentAgent是一个JVM进程,它以事件的形式将数据从源头送至目的,是Flume数据传输的基本单元原创 2020-06-20 23:24:26 · 273 阅读 · 0 评论 -
Yarn的学习笔记
1、Yarn基本架构Yarn 资源调度器Yarn是一个资源高度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而Mapreduce等运算程序则相当于运行于操作系统之上的应用程序。Yarn 的基本架构Yarn主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成,如图:2、Yarn工作机制1.Yarn运行机制,如图所示。2.工作机制详解(1)MR程序提交到客户端所在的节点。(2)YarnRun原创 2020-06-20 05:34:11 · 299 阅读 · 0 评论