logstash
文章平均质量分 85
xuguokun1986
这个作者很懒,什么都没留下…
展开
-
Logstash配置语法
区段(section)Logstash 用{}来定义区域。区域内可以包括插件区域定义,你可以在一个区域定义多个插件,插件区域内则可以定义键值对设置。数据类型Logstash支持少量的数据值类型:bool debug => truestring host => "localhost"number port => 80array match => ["hello转载 2017-06-23 09:54:37 · 2703 阅读 · 0 评论 -
supervisor管理elasticsearch和logstash
1.安装:先安装setuptools:wget https://bootstrap.pypa.io/ez_setup.py -O - | python再安装supervisor:(下路径载:https://pypi.python.org/pypi/supervisor)tar zxvf supervisor-3.3.2.tar.gzcd supervisor-3.3.2原创 2017-06-22 09:58:49 · 3955 阅读 · 1 评论 -
KafkaOffsetMonitor Kafka实战-KafkaOffsetMonitor
1.概述 前面给大家介绍了Kafka的背景以及一些应用场景,并附带上演示了Kafka的简单示例。然后,在开发的过程当中,我们会发现一些问题,那就是消息的监控情况。虽然,在启动Kafka的相关服务后,我们生产消息和消费消息会在终端控制台显示这些记录信息,但是,这样始终不够友好,而且,在实际开发中,我们不会有权限去一直观看终端控制台,那么今天就为大家来介绍Kafka的一个监控系统——Kafk转载 2017-08-30 08:11:02 · 5494 阅读 · 3 评论 -
针对Logstash吞吐量一次优化 .
Logstash性能优化:场景: 部署节点配置极其牛逼(三台 48核 256G内存 万兆网卡的机器),ES性能未达到瓶颈,而filebeat又有源源不断的日志在推送(日志堆积),此时却发现ES吞吐量怎么也上不去,基本卡在单logstash 7000/s 的吞吐。 这时候我们基本确定瓶颈在logstash上。logstash部署在服务端,主要处理接收fil转载 2017-09-08 09:21:30 · 3347 阅读 · 0 评论 -
logstash数据采集差8小时问题及解决(原创)
作者:star软件版本软件名称 版本号 elasticsearch 2.1.1 logstash 2.3.1 问题解决办法 解决方案1:input { jdbc { jdbc_connection_string => "jdbc:oracle:thin:@10.35.4.97:1521:OMS1" jdbc_drive...转载 2019-06-04 11:18:16 · 1652 阅读 · 1 评论 -
logstash 数据采集时间差8小时问题及解决
最近采用logstash采集日志按天产生文件使用过程中发现logstash timestamp记录的时间戳为UTC时间。比我们的时区早8个小时。不能确保每天的数据在同一文件。造成发送到es里的数据每天早上8点才创建索引,发送的file的数据每天早上8点自动切割。不符合我们实际的需求。解决此问题。方法如下:方法一、加入filter字段即可解决。该项配置能够改掉logs...原创 2019-06-04 14:35:54 · 2854 阅读 · 0 评论