![](https://img-blog.csdnimg.cn/7e26afffc9584bec91410ecfa49c8de6.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Flume
文章平均质量分 64
Flume的基础知识介绍
勤奋的ls丶
这个作者很懒,什么都没留下…
展开
-
Flume之项目实战
目录一、多路复用及拦截器的使用二、复制三、聚合一、多路复用及拦截器的使用需求:使用Flume采集服务器本地日志,需要按照日志类型的不同,将不同种类的日志发往不同的分析系统。(区分数字和字母,将其发往不同的系统) 一台服务器产生的日志类型可能有很多种,不同类型的日志可能需要发送到不同的分析系统。此时会用到Flume的channelselecter中的Multiplexing结构,Multiplexing的原理是,根据event中Header的某个key的值...原创 2021-12-27 21:08:10 · 669 阅读 · 0 评论 -
Flume之事务
put事务: doPut:将批数据先写入临时缓冲区putList doCommit:检查channel内存队列是否足够合并 doRollback:channel内存队列空间不足回滚数据Take事务: doTake:将数据取到临时缓冲器takeList,并将数据发送到HDFS doCommit:如果数据全部发送成功,则清除临时缓冲区takeList doRollback:数据发送过程中如果出现...原创 2021-12-27 20:38:02 · 220 阅读 · 0 评论 -
Flume之数据流监控
目录一、Ganglia的安装与部署二、操作一、Ganglia的安装与部署Ganglia由gmond、gmetad和gweb三部分组成。gmond(Ganglia Monitoring Daemon)是一种轻量级服务,安装在每台需要收集指标数据的节点主机上。使用gmond,你可以很容易收集很多系统指标数据,如CPU、内存、磁盘、网络和活跃进程的数据等。gmetad(Ganglia Meta Daemon)整合所有信息,并将其以RRD格式存...原创 2021-12-27 20:19:36 · 144 阅读 · 0 评论 -
Flume的概述与入门
一、概述 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。并于2009 年被捐赠给了apache 软件基金会,是hadoop的一个相关组件。Flume基于流式架构,灵活简单。那么为什么使用Flume 1.HDFS最怕的就是小文件过多,如果直接从磁盘文件夹读取,会产生大量的小文件 2.二、Flume的架构1. AgentAgent主要有3个部分...原创 2021-12-27 19:13:03 · 538 阅读 · 0 评论