Flume面试题

Flume面试题整理（一）

1、Flume使用场景（☆☆☆☆☆）

  线上数据一般主要是落地（存储到磁盘）或者通过socket传输给另外一个系统，这种情况下，你很难推动线上应用或服务去修改接口，实现直接向kafka里写数据，这时候你可能就需要flume这样的系统帮你去做传输。

2、Flume丢包问题（☆☆☆☆☆）

  单机upd的flume source的配置，100+M/s数据量，10w qps flume就开始大量丢包，因此很多公司在搭建系统时，抛弃了Flume，自己研发传输系统，但是往往会参考Flume的Source-Channel-Sink模式。
  一些公司在Flume工作过程中，会对业务日志进行监控，例如Flume agent中有多少条日志，Flume到Kafka后有多少条日志等等，如果数据丢失保持在1%左右是没有问题的，当数据丢失达到5%左右时就必须采取相应措施。

3、Flume与Kafka的选取

  采集层主要可以使用Flume、Kafka两种技术。
  Flume：Flume 是管道流方式，提供了很多的默认实现，让用户通过参数部署，及扩展API。
  Kafka：Kafka是一个可持久化的分布式的消息队列。
  Kafka 是一个非常通用的系统。你可以有许多生产者和很多的消费者共享多个主题Topics。相比之下，Flume是一个专用工具被设计为旨在往HDFS，HBase发送数据。它对HDFS有