![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
logstash
文章平均质量分 75
珊瑚海的世界
这个作者很懒,什么都没留下…
展开
-
Logstash之时区问题的建议和修改
大家在用Logstash收集日志时,发现@timestamp的时间比本地早8个小时,这是正常的,因为这个时间是UTC时间,日志应统一采用这个时间。原则上建议大家不要修改这个时间戳:时区问题的解释很多中国用户经常提一个问题:为什么 @timestamp 比我们早了 8 个小时?怎么修改成北京时间?+其实,Elasticsearch 内部,对时间类型字段,是统一采用 UTC 时间原创 2016-05-11 16:20:50 · 18357 阅读 · 2 评论 -
安装logstash
下载logstashtar –xf logstashmv logstash /opt/ ln -s /opt/logstash-1.4.2 /usr/local/logstash测试logstashbin/logstash-e 'input { stdin { } }output { stdout {} }'配置logstash创建配置文件目录:mkdir-p /转载 2016-05-06 14:15:29 · 447 阅读 · 0 评论 -
logstash日志收集展示与邮件报警
有时候我们需要对一些服务器日志进行分析,并对其中错误的日志进行报警,在这里我们采用logstash来收集这些日志,和采用自己开发的邮件发送系统来发送错误日志数据。 例如我们有几个文件需要监控(BI日志)我们可以通过配置logstash来收集这些文件日志input{ file{ path=> "/diskb/bidir/smartbi原创 2016-05-06 14:48:48 · 9357 阅读 · 0 评论 -
logstash服务检测与拉起
检测logstash的conf脚本check_logstash_serve.sh#!bin/bash# check logstash running ? if not,start it# example: sh check_logstash_serve.sh flumelck /opt/modules/logstash/exec_sh/lck/lck_start.sh#传入脚本名原创 2016-05-06 15:27:35 · 2023 阅读 · 0 评论 -
Logstash之关系型数据库(mysql或oracle)数据入ElasticSearch
有的时候我们想把mysql或oracle中的数据导入到es中,有很多种方式,这里介绍一种很简单的方式,利用Logstash的jdbc-input插件可以实现。官方文档链接查看:https://www.elastic.co/guide/en/logstash/2.1/plugins-inputs-jdbc.html 譬如我们想把mysql中某一张表导入到ES中,Logstash的conf原创 2016-05-17 16:15:28 · 6335 阅读 · 2 评论 -
Logstash之kafka数据入ElasticSearch
kafka里面的数据都是自定义拼接的字符串需要在logstash中filter做分割;如果是json格式,则会被自动解析,无需分割。下面样例:input{ kafka { zk_connect => "bdc41.hexun.com:2181,bdc40.hexun.com:2181,bdc46.hexun.com:2181,bdc54.hexun.com:原创 2016-05-09 15:43:00 · 3062 阅读 · 0 评论 -
Logstash之日志多行合一行(日志错行)
我们在用Logstash收集日志的时候会碰到日志会错行,这个时候我们需要把错的行归并到上一行,使某条数据完整;也防止因为错行导致其他字段的不正确。在Logstash-filter插件中,multiline插件可以解决这个问题,举个例子如下:假如我们的日志形式如下:2016-04-05 13:39:52.534 1.28.253.193 20160311090433074f5b47c04原创 2016-05-09 16:13:07 · 8868 阅读 · 2 评论