logstash简介

此文只是logstash的简单入门，作者也只是简单了解logstash，本文只能简单介绍logstash，对完全不懂logstash是啥的人做个引导，因为我就是这样过来的~

1.logstash是什么？有什么用?

　　在网上搜索logstash，搜索结果中logstash一般是和elasticsearch、kibana一起讲的。感觉似乎logstash、elasticsearch、kibana一定要一起用，其实并不是这样的。logstash是用来收集日志用的，完全可以单独使用，只是这几个组合在一起疗效比较好。

     做过项目的都知道，传统的日志一般是直接写文件。这些日志文件里面可能写了函数调用次数、服务请求失败的日志（比如请求内容、时间、IP什么的），这些日志往往内含丰富的内容。通过分析这些日志可以让我们知道系统主要运行哪些服务、什么时候是服务的高峰期、错误比较集中的地方是哪儿，通过了解这些内容，我们可以提升系统的性能、提供更好的服务。日志文件一般是写在本地的，如果一个分布式系统的日志全部都写在本地，我们要聚合、分析这些日志也是相当麻烦的事。这时候logstash就派上用场了，日志还是原来那样写，只不过不是写文件了，而是写到RabbitMQ、Redids这些地方，然后logstash在另一头不断的取出这些日志，然后对这些日志进行一些处理，输出到另外一个地方，比如说elasticsearch或者在线分析的平台什么的。这时候日志就写到一起了，就方便使用了。

2.logstash基础

 　　在logstash中，一条条的日志其实都是事件。logstash事件中有一个个不同的字段，每个字段中都有不同的值。在logstash中，值可以有布尔、数值、字符串、数组和Hash表这5种类型。前三种就不说了，数组的写法是这样的["hello", "world", "!"]，Hash表的写法是这样的{key1=>value1，key2=>value2}。前面说到logstash就是收集日志、处理日志然后再输出出去。所以logstash就是一种input->filter->output的过程，故logstash中就有input、filter、output这三种类型的插件来处理收集到的日志。我们在配置文件中写好相关的内容、配置好插件，logstash就会按照我们所需要的那样收集、处理并输出日志。一个logstash配置文件至少包含input、output插件，filter插件根据实际需求选择。一个logstash事件的例子（瞎写的）如下：

1 {
2     message => "Hello, world!",
3     @timestamp => "2016-07-17T12:02:58.322Z"
4     host => "XXX-PC"
5 }

 

　　刚才说了logstash可以从RabbitMQ、Kafka、Redis这些消息中间件中抽取日志，这需要配置不同的input插件。如果要从某个消息中间件、文件或者其他地方收集日志，那么就需要在配置文件中配置相应的input插件。当然很多时候，实际收集到的日志和我们实际想存储的数据模型有些差别，这时候我们就可以配置filter插件来处理这些日志。一般来说单个filter插件是不能完成任务的，那我们就配置多个，然后日志就按照filter1->filter2->....->filterN这样的顺序处理。处理完了以后就通过output插件推送到不同的地方。

3.logstash运行

　　使用logstash最关键的是写好配置文件，写好配置文件了，logstash就会好好的陪你玩耍。下面举几个例子：

　　标准输入到标准输出，并且不做任何处理：

1 input {
2     stdin {
3     }        
4 }
5 output {
6     stdout {
7         codec => rubydebug
8     }
9 }

　　这个例子相当简单，将它保存成xxx.conf， 然后运行logstash -f xxx.conf，windows下输入 logstash.bat -f xxx.conf。你在屏幕上输入什么，就会输出一个还有message为什么的logstash事件。

　　从redis读取，输出到elasticsearch中：

 1 input {
 2     redis {
 3         key => "logstash-*"
 4         host => "localhost"
 5         port => 6379
 6     }
 7 }
 8 filter {
 9      kv {
10      }
11 }
12 output {
13     elasticsearch{
14         hosts => ["localhost:9200"]
15         index => "logstash"
16         type => "logstah123"
17     }
18     stdout{
19         codec => rubydebug
20     }
21 }

　　打开Redis客户端，以logstash-为前缀保存"key1=val1 key2=val2 key3=val3",你会在屏幕上看到key1、key2、key3都成了不同的字段，而且val1 val2 val3就是对应的值，在elasticsearch也以这种方式保存好了。这是因为kv插件可以处理这种有规则的字符串，默认以空格区分一组key-value，以等号区分key和value。可以更改kv插件的field_split和value_split来改变kv插件的运行表现。