flume监控分析

最新推荐文章于 2023-10-15 11:42:04 发布

ty_laurel

最新推荐文章于 2023-10-15 11:42:04 发布

阅读量2.7k

点赞数

分类专栏： big data 文章标签： flume监控

本文链接：https://blog.csdn.net/ty_laurel/article/details/53927176

版权

flume 监控分析

由启动flume时可以发现,flume 入口函数位于flume-ng-node目录中的Application.java文件中:

 
 
 
  Info: Sourcing environment configuration script /home/bjtianye1/apache-flume-1.7.0-bin/conf/flume-env.sh
  Info: Including Hadoop libraries found via (/home/hadoop/hadoop//bin/hadoop) for HDFS access
  Info: Including HBASE libraries found via (/home/hbase/hbase/bin/hbase) for HBASE access
  Info: Including Hive libraries found via () for Hive access
  + exec /home/jdk//bin/java -Xmx20m -Dflume.root.logger=DEBUG,console,LOGFILE -Xms100m -Xmx2000m -Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=10.172.152.66:8666 -DisGanglia3=true -cp '/home/bjtianye1/apache-flume-1.7.0-bin/conf:/home/hadoop/hadoop-2.5.2/lib/native org.apache.flume.node.Application -f conf/flume.conf -n agent1

根据命令中含有no-reload-conf（默认为动态加载）参数，决定采用那种加载配置文件方式：一、没有此参数，会动态加载配置文件，默认每30秒加载一次配置文件，因此可以动态修改配置文件；二、有此参数，则只在启动时加载一次配置文件。实现动态加载功能采用了发布订阅模式，使用guava中的EventBus实现。

main方法首先解析各个传入的参数，然后调用handleConfigurationEvent方法，在该方法中调用startAllComponents方法，在该方法中调用loadMonitoring方法加载监控的一些信息，并开始监控服务monitorServer.start()(monitorServer实现了接口MonitorService，该接口中只有两个方法start和stop)

 
 
 
   private void loadMonitoring() {
     
         ...
        monitorServer.configure(context);来加载监控服务的配置信息；
        monitorServer.start();启动监控服务
         ...
  }

查看该start 方法的具体实现：

monitorServer有两种，GangliaServer和HTTPMetricsServer，都实现了MonitorService接口。

 
 
 
  /**
     * Start this server, causing it to poll JMX at the configured frequency.
     */
    @Override
    public void start() {
     
      try {
     
        socket = new DatagramSocket();
        hostname = InetAddress.getLocalHost().getHostName();
      } catch (SocketException ex) {
     
        logger.error("Could not create socket for metrics collection.");
        throw new FlumeException(
                "Could not create socket for metrics collection.", ex);
      } catch (Exception ex2) {
     
        logger.warn("Unknown error occured", ex2);
      }
      for (HostInfo host : hosts) {
     
        addresses.add(new InetSocketAddress(
                host