logstash 安装以及简单的应用

一、首先下载安装和es版本对应的logstash（日志收集工具）

二、进入logstash目录，用ls命令查看，结果除了(.conf文件除外)应该如图一所示。

一、通过vi  xxx.conf新建一个conf文件（这是此软件的核心）这里是代码编写的地方总体上分为三个部分input{}、filter{}、output{}。分别表示从哪里读数据源、怎样过滤、过滤后文件输出到哪里。Input 里面的file表示数据源是文件类型。我们也可以开通utp tcp端口传输内容。Start_position=>beginning 表示从每个文件的第一行读取、codec设置字符编码、ignore_older是设置读取的日志最早是那个日期的（从现在开始往前推60480000秒，在此时间之后的日志才能插入）。

filter是将每个文件的每行日志解析出来message就代表每条日志，message后面是日志应该匹配的正则表达式，通俗的讲就是将每条日志按一定规则切割成我们想要的数据。output中的内容时填写，分割后的日志将写入到哪里我们这里是写入elasticsearch还可以写入redis、kafka等等、hosts后面表示写入的elasticsearch的ip和端口index=>表示写入到哪个索引user和password是认证es的账号和密码，是安装x-pack之后才需要填写的参数。

Stdout{}表示输出到控制台，这可以让我们直接在控制台就能看到数据插入的对错，也表示这个软件可以多重输出（将结果同时输入到不同的数据库中）。具体代码如图二所示。

运行:wq命令将之保存后  通过bin/logstash -f xxx.conf来运行此代码

转载于:https://my.oschina.net/u/4042146/blog/2980119