ELK系列(Elasticsearch+Logstash+Kibana)
ELK系列,包括了快速入门、搭建案例以及各种踩坑记录等
雨临Lewis
个人博客地址:https://lewky.cn
展开
-
ELK系列(5) - Logstash怎么分割字符串并添加新的字段到Elasticsearch
问题有时候我们想要在Logstash里对收集到的日志等信息进行分割,并且将分割后的字符作为新的字符来index到Elasticsearch里。假定需求如下:Logstash收集到的日志字段message的值是由多个字段拼接而成的,分隔符是;,;,如下:{ "message": "key_1=value_1;,;key_2=value2"}现在想要将message的值拆分成2个新...原创 2019-05-13 00:16:43 · 11555 阅读 · 4 评论 -
ELK系列(4) - Elasticsearch cannot write xcontent for unknown value of type class java.math.BigDecimal
java.lang.IllegalArgumentException: cannot write xcontent for unknown value of type class java.math.BigDecimal at org.elasticsearch.common.xcontent.XContentBuilder.unknownValue(XContentBuilder.java:7...原创 2019-05-12 17:33:44 · 9389 阅读 · 0 评论 -
ELK系列(3) - Elasticsearch修改jvm参数
方法Elasticsearch默认会配置1G的JVM堆的初始值和最大值,该jvm参数被配置在/config/jvm.options里:-Xms1g-Xmx1g如果只是个人开发小项目,可以把参数改小些,比如:-Xms512m-Xmx512m这个jvm.options用来配置各种jvm参数,比如GC、GC logging、heap dumps等。...原创 2019-05-12 17:20:03 · 7100 阅读 · 0 评论 -
ELK系列(2) - Kibana怎么修改日期格式Date format
问题Kibana在创建Index Patterns的时候,可以选择某个date类型的field作为排序字段。之后在Discover里打开对应的index,会发现这个date类型的field的格式显示如下:April 10th 2019, 17:40:32.359这是Kibana默认的日期格式,有两种修改的方式。方式一:全局修改登录http://localhost:5601/,会进入Ki...原创 2019-05-12 16:56:28 · 8507 阅读 · 1 评论 -
ELK系列(1) - Elasticsearch + Logstash + Kibana + Log4j2快速入门与搭建用例
前言最近公司分了个ELK相关的任务给我,在一边学习一边工作之余,总结下这些天来的学习历程和踩坑记录。首先介绍下使用ELK的项目背景:在项目的数据库里有个表用来存储消息队列的消费日志,这些日志用于开发者日后的维护。每当客户端生产一条消息并发送到消息队列后,就会插入一条对应的记录到数据库里。当这条消息被消费之后,又会更新数据库里对应的记录的几个column的值,比如status、updated_o...原创 2019-05-12 16:46:58 · 956 阅读 · 0 评论