使用log4j发送日志到远程ELK平台

最近公司安排我把前期熟悉的ELK日志监控平台应用到线上生产环境上去。期间发现了几个问题:
   1、目前线上的项目用的是log4j,开始的时候为了避免前期代码里面已经大面积使用了日志打印语句(这些日志信息不是本次我们监控的重点)发送到ELK平台上,所以决定采用logback去打印、发送我们此次需要监控的接口与方法调用的地方。但是后来试了好久才发现:在同一个项目里面同时使用log4j和logback会出现问题:日志会随机发送到ELK上,很多时候都不会发送,最后才找到原因:web系统在调用打印日志的实例对象时,调用的是slf4j(使用了外观模式Facade),而log4j和logback都实现了slf4j,也就是当系统中同时有log4j和logback两个对象时,系统会随机调用一个对象进行日志打印(我只在logback里面配置了发送到远程ELK上),所以当系统调用的是log4j时,就不会发送,但是调用logback时,就又会发送,这种是随机、不可控的。具体参照:http://blog.csdn.net/lgcjava/article/details/52245255
最后没办法只能把logback给砍掉,还是使用原来的log4j。
   2、在使用log4j配置时,有两种方式可以实现向远程发送日志信息:一种是log4j主动去连接ELK中的logstash,然后把日志发送到logstash上,这时log4j使用SocketAppender ,配置如下:

 log4j.appender.logstash=org.apache.log4j.net.SocketAppender
log4j.appender.logstash.RemoteHost=10.30.11.19
log4j.appender.logstash.port=4570
log4j.appender.logstash.ReconnectionDelay=60000
log4j.appender.logstash.LocationInfo=true
log4j.appender.logstash.encoding=UTF-8 
另一种方式是,采用SocketHubAppender 
 log4j.appender.socket=org.apache.log4j.net.SocketHubAppender
log4j.appender.socket.port=9999
log4j.appender.socket.Threshold=INFO
log4j.appender.socket.LocationInfo=true 
这里在blog里面使用properties配置方式了,毕竟如果用xml的话,一会儿出来的效果又是各种输入框了,大家都懂的。如果项目是用的xml方式配置,相应的修改一下就行,两种方式的原理参看: 
http://www.tuicool.com/articles/3U7fumv 
http://blog.csdn.net/beer2008cn/article/details/7381760 
  3、在使用项目中使用xml配置时,用到了占位符:param name="port" value="${monitor.port}"
,但因为log4j在项目启动时,先于spring的org.springframework.beans.factory.config.PropertyPlaceholderConfigurer这个加载properties文件的bean加载,所以在xml中配置的这个占位符始终都取不到monitor.port的值。找到了两种解决办法:
  第一种是直接在tomcat启动参数那加一处 monitor.port=9999(端口值自定义),第二种是写一个监听器,在web项目启动后,把monitor.properties文件中的monitor.port=9999值读出来,然后注入到System对象中去,最后使用log4j 的API重新加载log4j的配置参数:
具体代码如下:

public class LoggerInitializer implements ApplicationListener {
 
      public final String log_locations = "xxxx/monitor.xml";
  public final String log_properties = "xxxx/monitor.properties";
  public final String MONITORPORT = "monitor.port";
        public final String basePath = this.getClass().getClassLoader().getResource("/").getPath();;
     private String loadProperties(){
         Properties prop = new Properties();
              String port = null;
              InputStream in = null;
           try{
                      
                 String path = basePath+log_properties;
                   in = new BufferedInputStream (new FileInputStream(path));
                        prop.load(in);
                   port = prop.getProperty(MONITORPORT);
            }catch(Exception e){
                     e.printStackTrace();
             }finally{
                        if(in != null){
                          try {
                                    in.close();
                              } catch (IOException e) {
                                        e.printStackTrace();
                             }
                        }
                }
                return port;
     }
         
 private void reloadConfig(){
             String port = loadProperties();
          if(!StringUtil.isBlank(port)){
                   System.setProperty(MONITORPORT, port);//把properties文件中的值注入到System中去
              }
                String path = basePath+log_locations;
            path = path.substring(path.indexOf(":")+1, path.length());
               //重新加载log4j的配置,重置时会抛出异常,但不影响启动和新配置的应用,重置后的配置也能正常使用,这时因为monitor.properties中的值已经注入到System中,所以monitor.port可以取到值
             DOMConfigurator.configure(path);
 }
 
 @Override
        public void onApplicationEvent(ApplicationEvent event) {
         if(event instanceof ContextRefreshedEvent){
                      if(((ContextRefreshedEvent)event).getApplicationContext().getParent() == null)//容器启动完成之后load
                             reloadConfig();      
         }
        }
}
这里的原理就在于:log4j在通过占位符读取配置时,从log4j源码可以看出是在System中获取的占位符的值,所以这两种方式都可以实现。ps:如果系统使用的log4j配置是xml方式的,那就是在重新加载log4j.xml的配置时,使用DOMConfigurator.configure(path);这个API,如果是使用的properties文件配置方式,则改用:PropertyConfigurator.configure(path);
参考:http://k1280000.iteye.com/blog/2176541
其中:当重新加载log4j的配置文件时抛出的异常信息为:

java.net.SocketException: Socket operation on nonsocket: configureBlocking
   at
    at
     at
     at
     at
       at
   at org.apache.log4j.net.SocketHubAppender$ServerMonitor.run(SocketHubAppender.
  at
Exception in thread "SocketHubAppender-Monitor-4560" java.lang.NullPointerException
   at org.apache.log4j.net.SocketHubAppender$ServerMonitor.run(SocketHubAppender.
  at
虽然会抛出异常,但经本人测试,log4j中的占位符还是被替换成了配置的值,而且日志也能正常发送到ELK平台上。但至于解决方案,暂时没有找到,有知道的朋友,可以指导一下,不胜感激。
此外,对于log4j还可以自定义日志级别,我当前项目就没有用到了,主要是项目催得比较紧,要实现自定义的日志级别可以参照:http://blog.csdn.net/seven_cm/article/details/26849821
展开阅读全文

没有更多推荐了,返回首页