flume从入门到精通

1、Flume中提供的Channel实现主要有三个：

• Memory Channel
  event保存在JavaHeap中。如果允许数据小量丢失，推荐使用。（宕机可能丢失数据）
• File Channel
  event保存在本地文件中，可靠性高，但吞吐量低于Memory Channel
• JDBC Channel
  event保存在关系数据中，一般不推荐使用

2、flume如何保证数据可靠性

• 将channel设置为file
• 利用事务
  Flume使用两个独立的事务分别负责从soucrce到channel，以及从channel到sink的事件传递。一旦事务中所有的事件全部传递到channel且提交成功，那么source就将该文件标记为完成。同理，事务以类似的方式处理从channel到sink的传递过程，如果因为某种原因使得事件无法记录，那么事务将会回滚。且所有的事件都会保持到channel中，等待重新传递。
• 使用Flume实时收集日志的过程中，尽管有事务机制保证数据不丢失，但仍然需要时刻关注Source、Channel、Sink之间的消息传输是否正常，比如，SouceàChannel传输了多少消息，ChannelàSink又传输了多少，两处的消息量是否偏差过大等等。
  flume监控有多种，比如Http监控：
  使用这种监控方式，只需要在启动flume的时候在启动参数上面加上监控配置。其中-Dflume.monitoring.type=http表示使用http方式来监控，后面的-Dflume.monitoring.port=1234表示我们需要启动的监控服务的端口号为1234，这个端口号可以自己随意配置。然后启动flume之后，通过http://ip:1234/metrics就可以得到flume的一个json格式的监控数据。