![](https://img-blog.csdnimg.cn/20191202112003926.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
监控系统及应用
监控和日志系统分享
meijinmeng
Never give up the faith.|
展开
-
AWS RDS慢日志文件另存到ES并且每天发送邮件统计慢日志
aws rds慢查询下载,展示,发送邮件报告原创 2023-12-18 10:56:55 · 1417 阅读 · 0 评论 -
对Mysql大表进行记录数、数据容量、索引容量进行统计排序
1.需求:需要请示查询数据库的大表情况,以便进行拆分表2.方案:a. 云商的DBA 表空间分析 b.自己写sql查询【这里以自己动手写为案例】3.思路:查询出排名前15的数据库表的行数,数据容量,索引容量4.代码部分# -*- coding: utf-8 -*-# Author: jmmeifrom email.header import Headerfrom email.mime.text import MIMETextfrom email.mime.multipart import原创 2021-05-18 10:58:03 · 403 阅读 · 0 评论 -
Zabbix 和 Grafana 监控Elasticsearch集群相关指标
1.需求:需要监控elasticsearch集群的需求,以便告警使用。2.说明:zabbix 采用shell脚本监控相关指标,Grafana使用模板监控集群状态看板。3.zabbix监控指标及脚本cluster_namestatustimed_outnumber_nodesdata_nodesactive_primary_shardsactive_shardsrelocating_shardsinitializing_shardsunassigned_shards其他指标请查看官方原创 2021-01-20 18:25:13 · 461 阅读 · 0 评论 -
将华为云/阿里云 RDS相关监控指标集成到Zabbix/Grafana中
一.需求分析1.监控需求:将云厂商的RDS数据库监控指标集成到自己公司的监控系统中2.集成方法:调用厂商提供的API接口3.华为云/阿里云RDS的监控指标异同##注意:调用接口有如下两种认证方式,您可以选择其中一种进行认证鉴权。Token认证:通过Token认证通用请求。AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。推荐使用AK/SK认证,其安全性比Token认证要高。【文章采用该方式演示】二.华为云RDS监控1.支持的原创 2021-01-04 15:07:28 · 1633 阅读 · 0 评论 -
prometheus+grafana 监控单节点Mysql
需求:可视化更好点的Mysql监控1.下载 mysql exporter和mysql展示模版 //下载地址:https://github.com/prometheus/mysqld_exporter/releases# ls mysqld_exporter-0.11.0.linux-amd64.tar.gz mysqld_exporter-0.11.0.linux-amd64.tar.gz# tar xvf mysqld_exporter-0.11.0.linux...原创 2020-08-14 15:39:57 · 168 阅读 · 0 评论 -
zabbix 监控单机版Rabbitmq
一.监控思路与方法 1.使用Rabbitmq管理和监控 2.使用Rabbitmq Management插件来监控和管理 3.自己动手编写shell脚本来监控需要的Rabbitmq 的指标 4.使用Rabbitmq 监控模版,找到自己需要的监控指标即可二.重要指标确认 Queued messages Total=Ready + Unacked 队列消息的状态情况 QueueMQ sockets 使用socket个数,最大...原创 2020-08-08 18:59:41 · 475 阅读 · 0 评论 -
Jeager+cat+ELK 快速构建分布式调用链跟踪系统
1.组件介绍 因为Jaeger 目前使用大公司较少,文档也比较少所以整理出来以供大家参考,如有更好的方式欢迎交流,这里主要以追踪Java的链路为介绍对象。 CAT 由大众点评开发的,基于 Java 的实时应用监控平台,包括实时应用监控,业务监控。 Jaeger是Uber推出的一款调用链追踪系统,类似于Zipkin和Dapper,为微服务调用追踪而生。 其主要用于多个服务调用过程追踪分析,图形化服务调用轨迹,便于快速准确定位问题。 ELK 成熟的日志系统,这里采用filebaet---->log原创 2020-07-24 17:30:23 · 1813 阅读 · 2 评论 -
Python 统计Zabbix监控告警表报统计
一.需求与分析 1.需要每周分析下系统告警汇总信息,加图表展示。 2.思路:调用zabbix api 获取,查询zabbix数据库的alters表来获取。二.实现方法 1.核心部分是查询数据库提取告警次数,告警级别 坑就是很多网上发的sql是无法准确或者无法提取告警级别,告警次数的。 select from_unixtime(clock,'%Y-%m-%d') as time, count(DISTINCT eventid...原创 2020-07-22 17:17:33 · 1781 阅读 · 2 评论 -
Python 一键巡检服务器资源使用率
一.分析需求与解决方案1.需要:定期的去统计所有主机的cpu mem disk的使用率。2.思路方案:1):安装云商的agent,调用api统计。 2):方案是接入自己的监控,查询数据库或者zabbix api统计。 3):通过ansible批量执行脚本来统计。3.这里使用简单快速的方式,直接查询zabbix数据库的统计趋势值来统计。且windows和Linux的监控指标有个别参数不太一样,所以区分2个脚本,后面...原创 2020-07-21 11:59:19 · 1189 阅读 · 0 评论 -
shell 之统计ES 索引的error日志数量
1.需求:需要大屏展示每个应用的错误日志,以供开发其错误排行榜…2.思路:Linux命令调用es的api 进行查询。3.脚本如下:#!/bin/bashfunction webmanager {count=`curl -sH "Content-Type: application/json" -XGET 'http://192.168.1.155:9200/webmanager*/_s...原创 2020-01-09 13:15:32 · 799 阅读 · 0 评论 -
实战 Zabbix 与 Jenkins 语音合成与播报功能
1.准备**讯飞开发者账号。****讯飞语音合成Linux sdk,会一点C语言或者找会C的开发,目前不能超过2048超过需要增加逻辑并做容错机制。**Zabbix 整理告警等级,并定时将ERROR级别的告警信息输出到指定文件。Jenkins整理输出信息到指定文件。2.云上合成语音1):sdk 语音合成基础代码部分注意:SDK中–>samples/tts_sample/...原创 2020-01-08 15:13:59 · 358 阅读 · 1 评论 -
ELK使用及elastalert告警设置配置实战
1.系统部署 **1):部署过程略...** #readme ```bash 1.问题:ERROR: bootstrap checks failed max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536] max number...原创 2020-01-07 17:01:07 · 2039 阅读 · 1 评论 -
shell 之 监控java应用的脚本集合----持续更新中
1.监控和展示应用版本号#!/bin/bashfunction eureka {ver=`sudo /usr/local/jdk1.8.0_151/bin/jps -l|grep -eureka-|awk -F '-' '{print $3}'|tr -cd "[0-9]"`echo $ver}function eureka02 {ver=`sudo /usr/local/j...原创 2019-12-03 23:56:46 · 441 阅读 · 0 评论 -
shell 之自定义监控redis cluster集群模版
1.需求:用shell写一个脚本来监控redis-cluster测试环境的基本指标。2.现实:用python已实现,但是python代码过多不够简洁,所有改用shell来做监控脚本的模版。3.展示:garafana/zabbix4.脚本如下#!/bin/bashREDISCLI="/usr/local/bin/redis-cli"HOST=$(ip addr | awk '/^[0-...原创 2019-12-03 23:45:09 · 386 阅读 · 0 评论 -
Python 操作Zabbix API 获取ERROR级别告警信息并打印
1.需求:有一个语音合成播报项目,要实时获取zabbix的ERROR级别以上告警信息,将该信息合成语音播报出去。(合成语音及播报已经完成)2.现实:整理zabbix告警级别,将不太重要的告警放到ERROR级别以下,将重点信息设置为ERROR级别,然后通过zabbbix api获取。3.简单实现:#基础版本:包含全部信息,如果group hosts 等信息。 #!/u...原创 2019-11-27 15:36:00 · 1089 阅读 · 0 评论 -
Python 之 Redis cluster基础指标监控版
1 #!/usr/local/python/shims/python 2 from rediscluster import StrictRedisCluster 3 ''' 4 需要在宿主机python中安装rediscluster 5 pip install rediscluster 6 ''' 7 8 import redis 9 import sys...原创 2019-11-26 18:06:00 · 311 阅读 · 0 评论