LogStash的安装部署与应用

LogStash的安装部署与应用

介绍

1、Logstash是一个接收，处理，转发日志的工具;
2、Logstash支持网络日志、系统日志、应用日志、apache日志等等，总之可以处理所有日志类型;
3、典型应用场景ELK：logstash负责采集、解析日志，elasticsearch负责数据存储，kibana负责前端报表展示。

下载

https://www.elastic.co/cn/downloads/logstash

安装部署

上传服务器、解压即可使用。

配置

根据需要修改配置文件config/logstash.yml，默认不修改即可运行

• 节点名称：node.name
• 日志级别：log.level（默认debug，如果想要看详细日志改为trace）

根据需要调整jvm.options配置文件：

• -Xms256m
• -Xmx1g

测试安装是否成功:
快速启动，标准输入输出作为input和output

./bin/logstash -e 'input { stdin {} } output { stdout {} }'

使用

主要组件

• Input组件：负责采集日志数据，包括文件、syslog、collectd、kafka、redis等等；
• Filter：负责解析日志数据，包括解析、加工、转换数据等；
• Output：负责输出日志数据，对接到redis、kafka、elasticsearch、hdfs等存储组件；

常用启动参数

-e	立即执行，使用命令行里的配置参数启动实例	
	./bin/logstash -e ‘input {stdin {}} output {stdout {}}'
-f	指定启动实例的配置文件	
	./bin/logstash -f config/test.conf
-t	测试配置文件的正确性	
	./bin/logstash-f config/test.conf -t
-l	指定日志文件名称	
	./bin/logstash-f config/test.conf -l logs/test.log
-w	指定filter线程数量，默认线程数是5	
	./bin/logstash-f config/test.conf -w

常用input配置

File

文件读取插件主要用来抓取文件的变化信息，将变化信息封装成Event进程处理或者传递。

input
  file {
        #监听文件的路径
        path => ["E:/software/logstash-1.5.4/logstash-1.5.4/data/*","F:/test.txt"]
        #排除不想监听的文件
        exclude => "1.log"

        #添加自定义的字段
        add_field => {"test"=>"test"}
        #增加标签
        tags => "tag1"

        #设置新事件的标志
        delimiter => "\n"

        #设置多长时间扫描目录，发现新文件
        discover_interval => 15
        #设置多长时间检测文件是否修改
        stat_interval => 1

        #监听文件的起始位置，默认是end
        start_position => beginning

        #监听文件读取信息记录的位置
        sincedb_path => "E:/software/logstash-1.5.4/logstash-1.5.4/test.txt"
        #设置多长时间会写入读取的位置信息
        sincedb_write_interval => 15
  }
}

kafka

input
  kafka {
		#集群地址
		bootstrap_servers => ["10.142.134.179:9092"]
		#消费组id
		group_id => "ete_serv_common"
		#数组类型，可配置多个topic topics_pattern => ["BO_TOPO_\d{1,}$"]正则匹配
		topics => ["logq","loge"]
		#从最早的偏移量开始消费latest从最新的开始消费
		auto_offset_reset => "earliest"
		#起多少个input线程数
		consumer_threads => 5
		#此属性会将当前topic、offset、group、partition等信息也带到message中
		decorate_events => true
	}
}

Beats

Beats插件用于建立监听服务，接收Filebeat或者其他beat发送的Events；

配置示例

input {
    beats {
        port => 5044
    }
}

TCP

TCP插件有两种工作模式，“Client"和"Server”，分别用于发送网络数据和监听网络数据。

配置示例

tcp {
    port => 41414
}

Redis

input {
  redis {
    host => "127.0.0.1"
    port => 6379
    data_type => "list"
    key => "logstash-list"
  }
}

常用的Filter配置

丰富的过滤器插件的是 logstash威力如此强大的重要因素，过滤器插件主要处理流经当前Logstash的事件信息，可以添加字段、移除字段、转换字段类型，通过正则表达式切分数据等，也可以根据条件判断来进行不同的数据处理方式。

grok 过滤器

grok 是Logstash中将非结构化数据解析成结构化数据以便于查询的最好工具，非常适合解析syslog logs，apache log， mysql log，以及一些其他的web log

Logstash提供120个常用正则表达式可供安装使用，安装之后你可以通过名称调用它们
语法如下：%{SYNTAX:SEMANTIC}

• SYNTAX：表示已经安装的正则表达式的名称
• SEMANTIC：表示从Event中匹配到的内容的名称

例如：Event的内容为"[debug] 127.0.0.1 - test log content"，匹配%{IP:client}将获得"client: 127.0.0.1"的结果，前提安装了IP表达式；

通过配置grok可以把 [debug] 127.0.0.1 - test log content 这样的非结构化数据转为：
“cllient”:“127.0.0.1”.

一个完整的例子

 日志文件http.log内容：192.168.1.11 GET /index.html 15994 0.053
 表达式：%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}

配置文件内容：

input {
  file {
    path => "/var/log/http.log"
  }
}
filter {
  grok {
    match => {"message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}"}
  }
}

输出结果：
client: 192.168.1.11 
method: GET
request: /index.html
bytes: 15994
duration: 0.053

自定义表达式
与预定义表达式相同，你也可以将自定义的表达式配置到Logstash中，然后就可以像于定义的表达式一样使用；

语法：(?<field_name>the pattern here)

举例：捕获10或11和长度的十六进制queue_id可以使用表达式(?<queue_id>[0-9A-F]{10,11})

安装自定义表达式
  1、在Logstash根目录下创建文件夹"patterns"，在"patterns"文件夹中创建文件"extra"（文件名称无所谓，可自己选择有意义的文件名称）；
  2、在文件"extra"中添加表达式，格式：patternName regexp，名称与表达式之间用空格隔开即可，如下：

			# contents of ./patterns/postfix:
			POSTFIX_QUEUEID [0-9A-F]{10,11}

  3、使用自定义的表达式时需要指定"patterns_dir"变量，变量内容指向表达式文件所在的目录

举例如下：

	## 日志内容
Jan  1 06:25:43 mailserver14 postfix/cleanup[21403]: BEF25A72965: message-id=20130101142543.5828399CCAF@mailserver14.example.com>

	## Logstash配置
	filter {
	  grok {
	    patterns_dir => ["./patterns"]
	    match => { "message" => "%{SYSLOGBASE} %{POSTFIX_QUEUEID:queue_id}: %{GREEDYDATA:syslog_message}" }
	  }
	}
	
	## 运行结果 ##
	timestamp: Jan 1 06:25:43
	logsource: mailserver14
	program: postfix/cleanup
	pid: 21403
	queue_id: BEF25A72965
	
-Grok表达式在线debug地址：
	http://grokdebug.herokuapp.com 
-预定义正则表达式参考地址：
	https://github.com/logstash-plugins/logstash-patterns-core/tree/master/patterns

date 时间处理过滤器

该插件用于时间字段的格式转换，比如将"Apr 17 09:32:01"（MMM dd HH:mm:ss）转换为"MM-dd HH:mm:ss"。
而且通常情况下，Logstash会为自动给Event打上时间戳，但是这个时间戳是Event的处理时间（主要是input接收数据的时间），和日志记录时间会存在偏差（主要原因是buffer），我们可以使用此插件用日志发生时间替换掉默认是时间戳的值。

#日志内容
{
	"agent":"Windows 7",
	"client_time":"2017-11-20 12:00:00",
	"client_ip":"123.10.91.106"
}

# Filter 配置
filter {
   date {
       match => ["client_time", "yyyy-MM-dd HH:mm:ss"] 
       #这里是如果client_time跟后面的格式匹配上了就会去替换，替换什么呢?
       #target默认指的就是@timestamp,所以就是以client_time的时间更新@timestamp的时间
   }
}

mutate数据修改过滤器

mutate 插件是 Logstash另一个重要插件。它提供了丰富的基础类型数据处理能力。
可以重命名，删除，替换和修改事件中的字段。

• 重命名 – rename 对于已经存在的字段，重命名其字段名称

filter {
    mutate {
        rename => ["syslog_host", "host"]
    }
}

• 更新字段内容 – update 更新字段内容，如果字段不存在，不会新建

filter {
    mutate {
        update => { "sample" => "My new message" }
    }
}

• 替换字段内容 – replace 与 update 功能相同，区别在于如果字段不存在则会新建字段

filter {
    mutate {
        replace => { "message" => "%{source_host}: My new message" }
    }
}

• 数据类型转换 – convert

filter {
    mutate {
        convert => ["request_time", "float"]
    }
}

JSON过滤器

JSON插件用于解码JSON格式的字符串，一般是一堆日志信息中，部分是JSON格式，部分不是的情况下

配置示例

json {
    source => ...
}

## 示例配置，message是JSON格式的字符串："{\"uid\":3081609001,\"type\":\"signal\"}" ##

filter {
    json {
        source => "message"
        target => "jsoncontent"
    }
}

## 输出结果 ##
{
    "@version": "1",
    "@timestamp": "2014-11-18T08:11:33.000Z",
    "host": "web121.mweibo.tc.sinanode.com",
    "message": "{\"uid\":333333333,\"type\":\"signal\"}",
    "jsoncontent": {
        "uid": 333333333,
        "type": "signal"
    }
}

## 如果从示例配置中删除`target`，输出结果如下 ##
{
    "@version": "1",
    "@timestamp": "2014-11-18T08:11:33.000Z",
    "host": "web121.mweibo.tc.sinanode.com",
    "message": "{\"uid\":333333333,\"type\":\"signal\"}",
    "uid": 333333333,
    "type": "signal"
}

Output

ElasticSearch输出插件

用于将事件信息写入到Elasticsearch中，官方推荐插件，ELK必备插件

配置事例

output {
    elasticsearch {
        hosts => ["127.0.0.1:9200"]
		index => "filebeat-%{type}-%{+yyyy.MM.dd}"
		user => "upuptop" 
		password => "upuptop"
		template => "/dd/c/caaaa.json"
		template_name => "index_scene_control"
		         template_overwrite => true
		    }
}

File输出插件

用于将Event输出到文件内

配置事例

output {
    file {
        path => "/home/upuptop/test.txt "

    }
}