logstash
lifuyi2017
人的一切痛苦,本质上都是对自己的无能的愤怒。
展开
-
logstash解析JSON格式的字符串输入
业务需求:输入为JSON字符串,JSON字符串的字段个数不确定,但知道最多可能会有哪些字段,顺序确定的,现在要提取其中的value值并以制表符分割,方便后续存储在HDFS中并便于hive建表: 示例输入: { "cjdid": "DZQ10012","rfidId": 21412341234123410,"passTime": 1530135600,"plateColor": "1",原创 2018-08-21 10:02:54 · 1502 阅读 · 2 评论 -
logstash中fliter进行JDBC与ruby操作
fliter中JDBC操作有两个插件: jdbc_streaming:这个是流式执行的,每来一条数据就会执行一次JDBC操作,具体介绍见官网https://www.elastic.co/guide/en/logstash/current/plugins-filters-jdbc_streaming.html,具体使用如下: input{ stdin{} } filter{ ...原创 2018-09-03 09:41:10 · 2423 阅读 · 0 评论 -
.txt文件logstash写入es的无法多次导入
首先我是按照https://elasticsearch.cn/question/1468来写的logstash的conf文件 和上面的链接一样,在第二次使用的时候不能导入数据,是sincedb文件缓存的原因 执行如下操作 问题得以解决...原创 2018-12-20 11:50:15 · 709 阅读 · 0 评论