ELK 3 – 扩展、问题、应用、技巧

扩展

logstash插件

1、中文：手把手教你编写Logstash插件

2、官方：How to write a Logstash filter plugin

 

问题

1、插件装不上：把plugin的源地址换成淘宝的：https://ruby.taobao.org（未测试）

2、不能实时收集日志：没设置start_position ，默认是end，没有新日志进来。

3、搜索：要整个string一起搜索，比如，java.lang.NullPointerException

4、kibana页面出错：index名称不对。也有可能是ls和es之间不能相互通信。

5、无法创建field：正则不匹配，不能识别出字段。

6、像某些项目，一天生成一个新文件的日志，logstash会知道文件发生了变化，会对新生成的文件，从头开始读取。即指定的文件，一旦发生改变（对文件内容进行了删减），会从头开始读取（前提是设置了beginning）。

7、用multiline 进行多行过滤时，如果不写negate => true，那么multiline { }不会生效。

8、改了my.conf 不起作用

① 在notepad++里面改的文本已经保存，但是并没有同步到虚拟机，打开虚拟机里面的文件，还是那样

②用-e方式运行有效，用my.conf无效：没有找到配置文件，执行命令少了一个 -f

9、BUG？  设置了时间分割，但是还会断成两节。

10、no cached mapping for this field. Refresh field list from the Settings >Indices page

解决方案：Refresh field list from the Settings >Indices page

11、

A plugin had an unrecoverable error. Will restart this plugin.\n 
Plugin: <LogStash::Inputs::Stdin type=>\"stdin\", codec=><LogStash::Codecs::Line charset=>\"UTF-8\", delimiter=>\"\\n\">>\n 
Error: Unknown error - \x{B4ED}\x{CEF3}\x{B5C4}\x{CEC4}\x{BCFE}\x{C3E8}\x{CAF6}\x{B7FB}", :level=>:error}

解决方案：删除原有的LogStash软件，重新安装。

 

应用

1、监控catlinla.out这个文件。

2、监控服务间调用耗时。

 

技巧

1、自定义@timestamp时间格式：在Settings里面，找到@timestamp Fields，编辑。

转载于:https://www.cnblogs.com/datadev/p/5809242.html