大数据术语之Flume

Flume
    Flume是高可用高、可靠的、分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；
同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。主要有三部分组成：Source、Channel、和Sink。
Source 
    从数据发生器接收数据,并将接收的数据以Flume的Event格式传递给一个或者多个通道channel,Flume提供多种数据接收的方式,比如Avro,Thrift,twitter等。
实际生产中一般使用Taildir Source。因为支持断点续传，多目录。
Channel
    Channel是一种短暂的存储容器,它将从Source处接收到的Event格式的数据缓存起来,直到它们被sinks消费掉,它在source和sink间起着桥梁的作用,channel是一个完整的事务,这一点保证了数据在收发的时候一致性. 并且它可以和任意数量的source和sink链接. 支持的类型有: JDBC channel , File System channel , Memory channel等。
    File Channel：数据存储在磁盘，宕机数据可以保存。但是传输速率慢。适合对数据传输可靠性要求高的场景，比如，金融行业。
    Memory Channel：数据存储在内存中，宕机数据丢失。传输速率快。适合对数据传输可靠性要求不高的场景，比如，普通的日志数据。
    Kafka Channel：减少了Flume的Sink阶段，提高了传输效率。
Sink
    Sink将数据存储到集中存储器比如HBase和HDFS,它从channels消费数据(events)并将其传递给目标地. 目标地可能是另一个sink,也可能HDFS,HBase。
自定义拦截器
（1）拦截器注意事项
    项目中自定义了：ETL拦截器和区分类型拦截器。
    采用两个拦截器的优缺点：优点，模块化开发和可移植性；缺点，性能会低一些
（2）自定义拦截器步骤
    a）实现 Interceptor
    b）重写四个方法
        initialize 初始化
        public Event intercept(Event event) 处理单个Event
        public List<Event> intercept(List<Event> events) 处理多个Event，在这个方法中调用Event intercept(Event event)
        close 方法
    c）静态内部类，实现Interceptor.Builder
监控器的使用：Ganglia
问：Flume既然是数据采集工具那么数据采集过程中会丢失吗？
答：不会，Channel存储可以存储在File中，数据传输自身有事务。