Logstash的简单使用

2019独角兽企业重金招聘Python工程师标准>>>

开源日志分析系统logstash

1. MySQL和ES同步

---

1. 编程式

   • 使用之前的elasticdump，手动变成生成json文件，编写shellscript导入ES。后续的数据新增使用PHP或kava客户端进行编程触发同步。

2. 使用插件（没有什么特别好的插件）

   • 国人编写的go-mysql-elasticsearch（go开发）
   • 官方推荐基于logstash的插件logstash-input-jdbc

3. 自己写

   • 采用阿里巴巴的一个开源项目canal，可以模拟mysql从服务器。封装了bin-log分析，我们可以自己开发一个客户端可以更好地控制数据同步。

2. 安装logstash

---

1. ELK：ElasticSearch、Logstash、Kibana

2. Logstash是一个开源的日志收集、分析系统。

3. 下载地址：https://www.elastic.co/downloads/logstash

4. 解压

5. 进入bin目录，执行 ./logstash -e ""

6. 这是最简单的日志收集，得到你的stdin输入，然后输出日志到控制台。

7. 简单说明

   • -e 可以理解为logstash的配置字符串，如果什么都不写，则默认接受stdin

   • 基本配置文件格式

     	input
     	{
     		// 包含各种插件，如file、http、udp、elasticsearch
     	}
     	filter
     	{
     		// 过滤器设置
     	}
     	output
     	{
     		// 包含各种插件，如file、http、udp、elasticsearch
     	}
     

3. 配置文件使用

---

1. 在bin目录添加log.conf配置文件，内容如下：

   	input
   	{
   		file {
   			path=>"/home/shadowolf/testdir/*"
   		}
   	}
   	output
   	{
   		stdout{}
   	}
   

   • 表示分析testdir目录中的操作日志，在控制台打印输出信息

2. 启动logstash

   	./logstash -f log.conf
   

3. 测试

   • 进入testdir目录
   • 执行 echo "cccc" > abc, 查看控制台打印信息
   • 执行 echo "abc" >> abc, 查看控制台打印信息

4. output配置

   	output
   	{
   		file {
   			path=>"/home/shadowolf/mylogout/file.log"
   		}
   	}
   

   • 结果会输出到指定文件中

4. 把日志输出到elasticsearch中

---

1. 配置文件

   	output {
   		elasticsearch {
   			hosts=>["127.0.0.1:9200"]
   			index=>"mylog"
   		}
   		stdout{}
   	}
   

2. 运行logstash

   	./logstash -f log.conf
   

3. 添加测试

   • 进入testdir

   	echo "123" > abc
   	echo "new" > log
   

4. 在Kibana中添加index mylog

5. 可以查看到mylog中的数据与操作一致。

转载于:https://my.oschina.net/shadowolf/blog/1586186