LogStash的简介与搭建（一）

本次我采用的ELK均为5.6.3版本
ElasticSearch为集群模式 具体搭建及操作请看我之前的博客

logstash 官网学习地址：https://www.elastic.co/guide/en/logstash/

简介

什么是Logstash？
Logstash是一个具有实时流水线功能的开源数据收集引擎。Logstash可以动态统一来自不同来源的数据，并将数据规范化到您选择的目的地。清理和民主化所有数据，用于各种先进的下游分析和可视化用例。

尽管Logstash最初推动了日志收集方面的创新，但其功能远远超出了该用例。任何类型的事件都可以通过大量的输入，过滤和输出插件来丰富和转换，其中许多本地编解码器进一步简化了接收过程。Logstash通过利用更大的数据量和各种数据来加速您的见解。

我把LogStash 和 Flume 归为一类 各有各的优点和好处。
如果是日志数据入ElasticSearch 最好采用logstash 毕竟人家全家桶 如果是入kafka 两者都可以 具体看怎么使用了 这里不做出实际比较。

logstash由三部分组成：

1.输入(input)
2.过滤器（filter） 可以有多个
3.输出（output）

数据是有pipeline管道的形式传输的

其架构图为：

当然 输入 可以使 多种多样的 不仅仅是dataSource
还可以是 ：我举几个例子：
http请求，文件，elasticSearch，jdbc，exec，redis，消息队列等等…..
输出也不一定就是ElasticSearch 还可以是
kafka，hadoop，文件，控制台，redis，消息队列等等

具体生产环境 可以参考官网配置你的输入插件和输出插件。

下面是 搭建部分：

前提 至少 jdk 1.7
我全程1.8

1.下载tar.gz包 解压完成

2.目录结构 官网第二节有说明 一看就知道是java开发 ，具体每个环节该做什么一目了然

3.config目录下logstash.yml是它的配置文件，调优的话就是修改这个文件 我未做修改即可使用 参数调优官网也有介绍

4.简单的启动运行测试：

./bin/logstash -e   'input{ stdin{}} output{stdout{}} '

-e 是指以参数的形式跟配置文件 即引号里面的
-f 是指以配置文件的形式运行

执行之后 随意输入字符 达到这样的效果说明logstash可以正常运行

dsadsdsdsd
2018-01-17T08:09:14.273Z hadoop1 dsadsdsdsd
sdsdsfgrg
2018-01-17T08:09:16.010Z hadoop1 sdsdsfgrg

logstash主要的学习 是在 输入插件 输出插件 拦截器上

配置文件中 日志 经过输入插件 必经 拦截器 然后流入输出插件
其中拦截器的顺序 按照配置文件中 filter的顺序 谁在前面税执行