ELK系统
文章平均质量分 54
运维打怪晋级之路
2011毕业以后就从事运维工作的,从一名职场新手通过自己的学习和工作中的总结慢慢提升自己的专业技能,目前在一家互联网公司做运维架构师,主要负责公司阿里云的服务器和服务的运维工作,之前在亚信科技从事过业务维护工程师、自动化运维工程师、报表稽核开发工程师,2016年转为报表开发工程师,2018年跳槽到一家互联网公司做高级运维工程师,主要负责公司系统的运维架构以及系统安全,目前我在一家国企任职高级运维工程师。我在工作中有耐心,抗压力、爱折腾,喜欢研究自动化工具,喜欢写一些博客技术分享。擅长linux系统、shell脚本、python脚本、ELK系统、JAVA系统调优、docker、k8s等。
展开
-
Logstash 解析Kong字符串删除json嵌套字段
Logstash收集Kong的日志,有字段类型不一致导致报错原创 2023-03-28 11:14:07 · 385 阅读 · 0 评论 -
如何搭建自己的grokdebug工具测试logstash语法糖
grokdebug 一个方便的 grok 调试工具,grok 的语法编写起来还是有点吃力的,但是使用grokdebug可以提高我们排查问题的效率,但是服务提供大多数是国外的服务器,我们在墙内服务比较困难,目前grokdebug 提供了docker 版本了原创 2021-12-02 11:32:05 · 1850 阅读 · 0 评论 -
kibana大屏可视化的MySQL慢日志数据收集和展示查询
ELK收集和展示Mysql慢日志数据1、收集需求Mysql慢日志要求Mysql的慢日志可以有地方查询,便于开发人员分析问题;对应的慢日志记录如下:# Time: 2021-08-19T05:28:13.275255+08:00# User@Host: gtmed_wm[gtmed_wm] @ [10.152.160.184] Id: 50278# Schema: gtmed_wm Last_errno: 0 Killed: 0# Query_time: 4.434879 Lock.原创 2021-09-24 17:02:37 · 1487 阅读 · 0 评论 -
如何开发Kibana与Elasticsearch结合的报表系统
Kibana与Elasticsearch结合定制企业报表系统选择Data Table添加最大耗时分组分桶再次添加一个分桶此时报表已经做好了!下载内容如下:此时我们还可以把kibana查询的配置转换为Lucene的查询语法,方法如下:复制Request内容进行查询如下:Lucene的查询语法如下:POST gt-isc-open-aifgw-log-openstep_2021_09_08/_search{ "aggs": { "3": { .原创 2021-09-08 16:11:34 · 640 阅读 · 0 评论 -
Grafana可视化工具-之Heatmap(热图)
Grafana可视化工具-之Heatmap(热图)Heatmap是Grafana的原生插件,Heatmap(热图)您可以查看一段时间内的直方图。要完全理解和使用此面板,您需要了解什么是直方图以及如何创建它们。阅读以下内容以快速了解术语直方图。什么是直方图?直方图是用于表示数值分布的图形,直方图将数值分组到一个一个的bucket当中,然后计算每个bucket中值出现次数。在直方图上,X轴表示表示数值的范围,Y轴表示对应数值出现的频次。在直方图上,对于各数值出现的次数,分布是否对称都显示的很清楚。官.原创 2021-04-06 18:56:51 · 6445 阅读 · 1 评论 -
Grafana可视化工具-之修改主题
Grafana可视化工具-之修改主题Grafana默认主题是黑色,将它修改成白色,其它需要第三方支撑修改配置文件[root@showdocserver opt]# vim /etc/grafana/grafana.ini\# Default UI theme ("dark" or "light");default_theme = dark在页面修改...原创 2021-03-24 14:53:57 · 5536 阅读 · 0 评论 -
node_exporter监控指标
1、Node_exporter监控agent存活PromQL语句:up{job="捷顺监控"} == 0说明:检测Node_exporter监控agent是否存活、或者是Node_exporter服务是否挂掉2、Node_exporter监控CPU利用率PromQL语句:ceil(100 - sum(increase(node_cpu_seconds_total{job="捷顺监控",mode="idle"}[5m])) by(instance) / sum(increase(node_cp原创 2020-12-04 17:27:36 · 5971 阅读 · 0 评论 -
日志使用Grafana进行监控告警
ES中的日志使用Grafana进行监控告警一、Grafana强大画图工具Grafana介绍Grafana是一个开源的度量分析与可视化套件。经常被用作基础设施的时间序列数据和应用程序分析的可视化,它在其他领域也被广泛的使用包括工业传感器、家庭自动化、天气和过程控制等。Grafana支持许多不同的数据源。每个数据源都有一个特定的查询编辑器,该编辑器定制的特性和功能是公开的特定数据来源。官方支持以下数据源:Graphite,InfluxDB,OpenTSDB,Prometheus,Elasticse.原创 2020-11-24 09:20:00 · 6226 阅读 · 1 评论 -
Elasticsearch7使用jdbc连接
Elasticsearch7.0.1 使用jdbc连接项目中添加maven依赖<repositories> <repository> <id>elastic.co</id> <url>https://artifacts.elastic.co/maven</url> </repository> </repositories> <dependency> <grou原创 2020-06-30 14:33:00 · 4558 阅读 · 2 评论 -
ELK系列-使用flume日志收集
ELK系列-使用flume日志收集我们的部分日志收集是使用flume在各个应用服务器上收集日志,然后到腾讯云的消息队列ckafka,在使用logstash消费ckafka的日志消息输入到elasticserch中。flume工具介绍flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(比如文本、HDFS、Hbase、kafka等)的能力 。flume的数据流由事件(Ev原创 2020-06-30 14:26:30 · 1452 阅读 · 2 评论 -
ELK系列之如何改变ES之前数据的类型
ELK系列之如何改变ES之前数据的类型1、前言公司有一个部门近期修改了ES的索引模板,我们运维部门在修改的时候有一个字段mid没有指定类型,使用默认的类型,结果导致之前的查询不可用了,查询报错;报错信息如下:3 of 76 shards failed2、查询问题开始也是没有头脑,无从下手,然后就去问度娘,也是无果;最后我重新拆分查询条件,发现有个字段mid有问题,此时我查看此时段的索...原创 2020-04-20 10:39:21 · 690 阅读 · 1 评论 -
kibana可视化统计_用户访问统计PV-IP-UV数据
kibana可视化统计_用户访问统计PV-IP-UV数据准备点击可视化->点击添加新建一个可视化New Visualization->选择Data Table选择索引如图:默认有个总数就是PV数:设置UV数:设置IP数:...原创 2020-03-26 15:17:50 · 8860 阅读 · 1 评论