logstash
文章平均质量分 71
logstash技术相关
桃花惜春风
高级Elasticsearch工程师,搜索架构工程师
展开
-
ELKF+kafka日志系统架构
文章目录我们为什么要搭建日志系统?相关组件介绍FlumeLogstashFileBeatElasticsearchKibanaKafka市场上的几种日志系统架构原有ELK架构引入消息队列架构轻量级的日志采集架构我们为什么要搭建日志系统?日志系统已经成为目前互联网行业的必备项目,用户行为分析,用户画像,包括事件的异常分析,统计分析等等都要依赖于日志。随着大数据的快速发展,近些年来日志被越来越多...原创 2021-03-25 10:10:22 · 686 阅读 · 0 评论 -
logstash如何将日志中字符串类型的时间转化成@timestamp
在ELK组合中我们在outputs/elasticsearch中常用的%{+YYYY.MM.dd}来创建索引,而这种写法是必须要读@timestamp这个字段的。默认情况下@timestamp字段显示的是当前时间,但我们可能需要记录的是日志中的字符串类型的时间,所以我们需要把日志中字符串类型的时间覆盖掉@timestamp中的当前时间。创建配置文件 code.confinput {原创 2016-09-13 23:31:38 · 38660 阅读 · 15 评论 -
logstash-kafka-elasticsearch
本文介绍使用logstash-kafka-elasticsearch组合进行数据交互。首先用logstash进行数据采集,然后数据通过kafka进入elasticsearch。文档版本:kafka_2.11-0.9.0.0logstash-2.2.0elasticsearch-2.2.0下面介绍连接方法:1. 创建配置文件code.confinput {...原创 2016-09-21 01:26:55 · 6095 阅读 · 0 评论 -
kafka-logstash-elasticsearch
本文介绍kafka数据进logstash,经过filter处理后,数据进elasticsearch。文档版本:kafka_2.11-0.9.0.0logstash-2.2.0elasticsearch-2.2.0与一些老版本连接方法有所不同,logstash-2.2.0中已经提供了连接kafka和elasticsearch的插件,无需再进行插件安装。下面介绍连接原创 2016-09-06 23:56:47 · 5761 阅读 · 0 评论 -
Kafka与logstash数据交互
我们在采集大量数据的时候可以需要对数据进行一些处理,logstash强于flume的一点功能就是logstash有个filter,他可以对数据进行处理。这里介绍kafka如何与logstash进行数据交互。Kafka数据进logstash创建配置文件 inputkafka.confinput{ kafka{ codec => "plain" g原创 2016-09-07 00:02:03 · 11433 阅读 · 2 评论 -
logstash5.X 时差8小时问题
在filter中处理ruby{code=>"event.set('timestamp',event.get('@timestamp').time.localtime+8*60*60)"}ruby{code=>"event.set('@timestamp',event.get('ti...原创 2018-08-15 10:32:04 · 3913 阅读 · 1 评论 -
logstash插件(一):logstash-input-jdbc
logstash从mysql导数据到Elasticsearch一般使用logstash-input-jdbc插件,这款插件logstash较新版本中自带的,老版本的话可以手动安装。关于logstash安装。插件的配置:input{ jdbc{ #表明类型。主要用于过滤 type => "my_info" } #jdbc驱动,需要自己下载 jdbc_dri...原创 2018-08-18 10:18:21 · 4788 阅读 · 0 评论