flume体系结构

  1. Flume的最小运行单元是Agent,Agent里至少要有三大核心组件Source,channel,Sink.
  2. Agent在运行时,就占一个JVM。
  3. Flume的组件有:
    – source组件:作用是与数据源进行交互,采集数据,封装成event, 将event传输给channel
    – channel组件:作用是将source传输的event进行缓存,然后再传输给sink。
    – sink组件:作用是接收channel传过来的event下沉到存储系统上或者是下一个Agent的source组件中
    – event:是采集的数据,封装成的对象,Event的结构有键值对的header,还有正文的消息体body
    – flow: event的传输抽象为flow
    – interceptor: 作用于source或sink端,可以用于拦截event或者修改event的数据
    – selector: 作用于source端,可以将不同的event分发到不同的channel里。
    – client: 客户端,用于产生数据,运行在一个独立的线程中
©️2020 CSDN 皮肤主题: 游动-白 设计师:上身试试 返回首页