logstash

Logstash与Flume对比：
    组件比较：
        Flume：source    channel        sink
        Logstash: input     filter     output
    
    特性比较：
        Flume：在高可用方面是优于Logstash
            Flume一直看重的是数据传输的安全性，在数据传输的过程中是有事务机制的
            Flume多用于多类型的数据采集
        
        Logstash：按装体积小，所以在搭建过程中相当方便，配置简单
            有数据清洗的功能，是通过filter组件进行简单的数据清洗
            和ES可以无缝结合
            可以断点续传
            该工具主要用于日志数据采集

Logstash-kafka.conf

input {
  file {
    path => "/root/data/animals"
    discover_interval => 5
    start_position => "beginning"
  }
}

output {
    kafka {
      topic_id => "test1"
      codec => plain {
        format => "%{message}"
        charset => "UTF-8"
      }
      bootstrap_servers => "node01:9092,node02:9092,node03:9092"
    }
}