![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
williamccc
愿你历尽千帆,归来仍是少年
展开
-
Flume Agent 内部原理
Flume Agent 内部原理从Soure 到 Channel过程首先,source将接收的数据,封装成一个个的事件(event), 在事件进入Channel之间,首先要先进去Channel Processor 来处理事件,(事件就是一个个的对象) 所以我们可以在它进去channel之间进行很多操作去处理event。例如我们可以写一个事件拦截器链设置一定条件,如果传输来的事件,不符合我们的要求,可以直接pass掉,对当前事件的处理,到此结束。设置的拦截器都需要一个个走。走完拦截器以后,要走Cha原创 2020-08-24 20:59:44 · 295 阅读 · 1 评论 -
Fluem事务
Fluem事务Fluem本身对数据的采集传输,是非常安全了,两个事务保证了Flume通常情况下,不会丢失数据。如果使用的Channel Mmemory, 可能对造成数据丢失,如果是使用的 Channel File还是非常安全的。数据库事务1.事务:一组逻辑操作单元**,**使数据从一种状态变换到另一种状态2.事务处理(事务操作):保证所有事务都作为一个工作单元来执行,即使出现了故障,都不能改变这种执行方式。当在一个事务中执行多个操作时,要么所有的事务都被提交(commit),那么这些修改就永久地保原创 2020-08-24 20:58:27 · 210 阅读 · 0 评论 -
Flume的写法
Flume的写法1.配置文件现在我们明白了,Flume就是用来采集数据,Source将采集的数据封装成一个个的事件event对象进行传输,这些事件首先缓存在Channel中(Channel Memory, Channel File) 两种Channel的方式,然后Sink从Channel中主动拉取数据,并将数据发送到指定的位置(可以是HDFS, Kafka…)。所以,我们怎么写一个Flume呢,也就是数据采集。其实就是一个配置文件,我们需要考虑的四个东西也就是flume基本组成架构。Agent,Sou原创 2020-08-24 20:57:06 · 177 阅读 · 0 评论 -
Flume简单介绍
Flume简介1.Flume的定义Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。所以通常flume用来数据的采集,并且把采集来的数据传输到hdfs,或者kafka,这个数据可以从服务器本地磁盘文件夹采集或者网络端口数据。Flume最主要的作用就是,实时读取服务器本地磁盘的数据,将数据写入到HFDS2.Flume基础架构Flume组成架构有四个:Source,Channel,Sink,Agent1.Agen原创 2020-08-24 20:52:46 · 268 阅读 · 0 评论