快速入手开源日志分析系统logstash

快速入手开源日志分析系统logstash

logstash是一个独立的系统，除了可应用于ElasticSearch，还可以应用于redis，消息队列，或者我们自己写项目里也可以独立去使用它。

大家常说到的ELK是ElasticSearch、Logstash和Kibana三个组成的。

下载地址：
https://www.elastic.co/cn/downloads/logstash

解压完成，cd到bin目录，执行：

 ./logstash -e ''

然后稍等片刻….
这是默认的最简单的日志收集，得到你的stdin输入，然后输出日志在控制台。

这个时候会监控我们的输入，比如我们输入jack：

简单说明

-e可以理解为logstash的配置字符串。如果什么都不写，则默认接受stdin(也就是键盘输入)

基本配置文件格式：

input
{
  //包含各种插件如 file、http、udp、elasticsearch
}
filter
{
  //过滤器设置
}
output
{
  //包含各种插件如 file、http、udp、elasticsearch
}

官方文档地址：
https://www.elastic.co/guide/en/logstash/current/plugins-inputs-file.html

ok，我们开始，首选在logstash的bin目录下创建配置文件：

vi log.conf

写入如下内容：

input
{
  file {
    path=>'/home/admin/testdir/*'
  }
}

output
{
   stdout{}
}

注意创建相关目录/home/admin/testdir。

我们可以检查一下刚才创建的配置文件：

 ./logstash -f log.conf  -t

如果没有问题，就可以直接启动了：

./logstash -f log.conf #注意我们现在启动和之前的区别了

然后我们在终端再开一个窗口，cd到testdir目录中。
执行：

echo "hello logstash" > hello.txt

这时候在logstash的监控窗口观察，稍等片刻 控制台会输出：localhost.localdomain hello logstash

给hello.txt文件追求内容：

echo "123">>hello.txt

既然有input必须又output

output
{
  file{
    path=>'/home/admin/mylogout/file.log'
  }
}

这代表结果会输出到指定的文件中。

关于所谓的mysql和elasticSearch同步

1、编程式
使用elasticdump手工生成json文件，编写shellscript导入elasticsearch中。后续的数据新增使用php进行编程除非同步。
2、使用插件(没有什么特别好的插件)
官方推荐的是基于logstash的插件logstash-input-jdbc
3、自己写。方案如下
采用阿里巴巴的一个开源项目canal，可以模拟mysql从服务器。封装了bin-log分析，我们可以自己开发一个客户端更好的控制数据同步。