centOS中linux安装logstash

一、准备工作

logstash官网下载logstash

二、安装

解压
tar -zxvf logstash-2.4.1.tar.gz

修改文件夹名字
mv logstash-2.4.1 logstash

三、配置logstash

• 编辑 /usr/local/logstash/config/logstash.yml配置文件修改如下内容：

node.name: cpy04.dev.xjh.com    #设置节点名称，一般写主机名
path.data: /usr/local/logstash/plugin-data    #创建logstash 和插件使用的持久化目录
config.reload.automatic: true    #开启配置文件自动加载
config.reload.interval: 10    #定义配置文件重载时间周期
http.host: "cpy04.dev.xjh.com"    #定义访问主机名，一般为域名或IP

• 配置logstash input 段
  vim /usr/local/logstash/from_beat.conf

input {
beats {
port => 5044
}
}
output {
      
    stdout { codec => rubydebug }
}

• 控制台采集数据，控制台输出数据
  
• 配置 logstash filter 段，修改/usr/local/logstash/from_beat.conf 为以下内容，配置完成后再次启动logstash，此时如果成功，输出内容应该是自己正则表达式捕获后的字段切分内容。

input {
beats {
port => 5044
}
}
filter {
    #过滤access 日志
    if ( [source] =~ "localhost\_access\_log" ) {
        grok {
            match => {
                message => [ "%{COMMONAPACHELOG}" ]
            }
        }
        date {
            match => [ "request_time", "ISO8601" ]
            locale => "cn"
            target => "request_time"
        }
    #过滤tomcat日志
    } else if ( [source] =~ "catalina" ) {
        #使用正则匹配内容到字段
        grok {
            match => {
message => [ "(?<webapp_name>\[\w+\])\s+(?<request_time>\d{4}\-\d{2}\-\d{2}\s+\w{2}\:\w{2}\:\w{2}\,\w{3})\s+(?<log_level>\w+)\s+(?<class_package>[^.^\s]+(?:\.[^.\s]+)+)\.(?<class_name>[^\s]+)\s+(?<message_content>.+)" ]
            }
        }
        #解析请求时间
        date {
            match => [ "request_time", "ISO8601" ]
            locale => "cn"
            target => "request_time"
        }
    } else {
        drop {}
    }
}
output {
      
    stdout { codec => rubydebug }
}

• 配置 过滤后内容输出至elasticsearch，修改from_beat.conf 文件为以下内容：

input {
	beats {
		port => 5044
	}
}
filter {
    #过滤access 日志
    if ( [source] =~ "localhost\_access\_log" ) {
        grok {
            match => {
                message => [ "%{COMMONAPACHELOG}" ]
            }
        }
        date {
            match => [ "request_time", "ISO8601" ]
            locale => "cn"
            target => "request_time"
        }
    #过滤tomcat日志
	} else if ( [source] =~ "catalina" ) {
        #匹配内容到字段
        grok {
            match => {
			message => [ "(?<webapp_name>\[\w+\])\s+(?<request_time>\d{4}\-\d{2}\-\d{2}\s+\w{2}\:\w{2}\:\w{2}\,\w{3})\s+(?<log_level>\w+)\s+(?<class_package>[^.^\s]+(?:\.[^.\s]+)+)\.(?<class_name>[^\s]+)\s+(?<message_content>.+)" ]
            }
        }
		#解析请求时间
		date {
     		match => [ "request_time", "ISO8601" ]
    	 	locale => "cn"
     		target => "request_time"
   			}
   	} else {
        drop {}
    }
}
output {
    if ( [source] =~ "localhost_access_log" ) {
        elasticsearch {
            hosts => ["cpy04.dev.xjh.com:9200"]
            index => "access_log"
        }
    } else {
        elasticsearch {
            hosts => ["cpy04.dev.xjh.com:9200"]
            index => "tomcat_log"
        }
    }
    stdout { codec => rubydebug }
}

至此，logstash 配置完成。