本文主要介绍了Flume在数据传输中的角色，包括Source、Sink、Channel的职责，以及如何通过监控、参数调优来确保数据的高效、稳定传输。Flume采用事务机制保证数据不丢失，但可能造成数据重复。Source类型包括exec和netcat，Channel类型有memory和file， Sink则用于将数据发送到各种目的地。Flume的Channel Selectors、参数调优以及事务机制在保证数据完整性和性能方面起着关键作用。
一、Flume 面试题
1. 你是如何实现Flume数据传输的监控的
使用第三方框架Ganglia实时监控Flume
2. Flume的Source，Sink，Channel的作用？你们Source是什么类型
- Source组件是专门用来收集数据的，可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy
- Channel组件对采集到的数据进行缓存，可以存放在Memory或File中
- Sink组件是用于把数据发送到目的地的组件，目的地包括Hdfs、Logger、avro、thrift、ipc、file、Hbase、solr、自定义
- 我公司采用的Source类型为：
- 监控后台日志：
订阅专栏 解锁全文
446
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
