基于AIX系统的应用日志采集-Logstash服务器端和客户端配置

• 1.服务端

• 1.1.需要文件(/opt/file):

  logstash-forwarder.crt

  logstash-forwarder.key

   1.2. 执行命令生成密钥文件keystore.jks

  cd  /opt/file

  keytool -importcert -trustcacerts -file logstash-forwarder.crt -alias ca -keystore keystore.jks

 说明:

  keytool:是java/bin命令

  -alias ca  ca指的是客户端AIX服务器域名

1.3.把keystore.jks复制到AIX服务器上

例如：scp keystore.jks 用户名@130.30.1.107.171://opt/目录

 服务端logstash配置:

  

input{

       lumberjack {

       port => 5120//要跟客户端一致

       ssl_certificate => "/opt/file/logstash-forwarder.crt"

       ssl_key => "/opt/file/logstash-forwarder.key"

       type => "access"//要跟客户端一致，可以分类型处理。

    }

}

filter {  //可以不过滤，此段删除。

  grok {

    match => { "message" => "%{COMBINEDAPACHELOG}" }  

  }  

}  

output {

  elasticsearch {//支持es，亦可以删除

        index => "gzns_access"

        document_type => "access"

        hosts => ["GIT-003.hadoop:9200"]

        workers => 1

        flush_size => 100

        idle_flush_time => 10

  }

kafka{//支持kafka，内容后补（名称暂时，可选）

        index => "gzns_access"

        document_type => "access"

        hosts => ["GIT-003.hadoop:9200"]

        workers => 1

        flush_size => 100

        idle_flush_time => 10

  }

//输出控制台（可选）

  stdout{codec==>rubydebug}

}

解释说明:

port:同客户端输出端口一样;

ssl_certificate和ssl_key分别指向/opt/file/下两个文件

type:增加日志输出类型

 

修改配置文件

logstach.yml

放开node节点的注释，并修改服务器名。注意：后面一定要添加一个空格！

 

/usr/local/test/logstash

 

 

• 2.客户端(AIX)

• 2.1.需要文件(/home/was/logstash):

  .logstash-forwarder-java

  keystore.jks

  logstash-forwarder-java-0.2.4.jar

  test.conf

2.2.编辑记录文件(.logstash-forwarder-java)

该文件的目的是为了记录每个日志文件当前处理到第几行。

修改内容为{},花括号里没有[],否则进程启动会报空指针异常

清除里面原来的所有内容，留一个[]即可。

2.2.1.编辑配置文件test.conf

{

  "network": {

    "servers":["96.0.50.78:5120"],

    "ssl ca":"/home/was/logstash/keystore.jks",

    "timeout":5

  },

  "files": [

    {

      "paths": ["/backup/mondata/jxj.nmon"],

      "fields": {

        "type": "access"

      }

    }

  ]

}

解释说明:

Aix用的一般是gb2312，而其他服务器用的通常是utf-8.

servers:指向server端的IP和port

ssl ca:指向密钥文件keystore.jks

2.3.启动java进程

cd /home/was/logstash

nohup java -jar logstash-forwarder-java-0.2.4.jar -quiet -config test.conf > logforwarder.log &

解析说明:

-quiet:参数可以大大减少不必要的日志量，如果遇到错误请打开-debug和-trace选项

• 其他

3.参考：AIX 使用logstash解决方案.

https://github.com/chenryn/ELKstack-guide-cn/commit/b79047ac51baeec90f5850f2e86eb16982e90d73

https://github.com/didfet/logstash-forwarder-java

 

logstash-forwarder + logstash + elasticsearch + kibana:

http://www.cnblogs.com/xiaouisme/p/3977721.html