大数据学习笔记-2020-10-05--flume简介

flume

flume的定义

• flume是cloudera提供的一个高可用、高可靠的，分布式的海量日志采集、聚合和传输的系统
• flume基于流式架构，灵活简单。
• flume最主要的作用就是实时读取服务器本地磁盘中的数据，将数据写入到hdfs中。

flume的组成架构

• agent是一个jvm进程，它以时间的形式将数据从源头送至目的，是flume数据传输的基本单元。

• agent由三个部分组成：

  • source
  • channel
  • sink

• source是负责接受数据到flume agent的组件。

  • source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy

• channel是位于source和sink之间的缓冲区

  • channel允许source和sink运作的速率不同
  • channel是线程安全的，可以同时写或者同时读
  • flume自带两种channel：
    • memory channel：Memory Channel是内存中的队列，Memory Channel在不需要关心数据丢失的情景下适用
    • file channel：File Channel将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数据

• sink会不断地轮询Channel中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。

  • Sink是完全事务性的。在从Channel批量删除数据之前，每个Sink用Channel启动一个事务。批量事件一旦成功写出到存储系统或下一个Flume Agent，Sink就利用Channel提交事务。事务一旦被提交，该Channel从自己的内部缓冲区删除事件。
  • Sink组件目的地包括hdfs、logger、avro、thrift、ipc、file、null、HBase、solr、自定义。

• agent中还存在两种事物：

  • put事物：负责将source采集到的数据（event事件）放入channel缓存中
  • take事物：负责从channel中将数据取出给sink

• event：是flume中数据传输的基本单元，以事件的形式将数据从源头送到目的地。