监控系统-1

已于 2022-09-25 01:51:08 修改
阅读量792 收藏 2
点赞数
分类专栏： 支付系统设计 文章标签： elasticsearch 大数据 java
于 2022-09-25 01:00:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38940885/article/details/127031729
版权
本文介绍了如何构建一套基于ELK（Elasticsearch、Logstash、Kibana）技术栈的业务监控系统，包括数据采集、存储、查询和展示。系统通过business-log.jar收集业务日志，Filebeat发送到Kafka，Flink处理并存储到Elasticsearch，Kibana用于数据可视化。业务方只需简单接入即可实现监控。
摘要由CSDN通过智能技术生成

技术栈：Filebeat+Kafka+Flink+ElasticSearch+Kibana+Micrometer等

文章目录

前言

需求背景：需要对系统进行业务监控，如支付系统需要监控各个支付渠道的各种交易类型各时间段的下单量、支付成功/失败量/率等。 通过构建监控系统我们可以知道系统各时段交易状况，同时预设多种指标，当触发预设指标时进行告警通知。说白了就是避免系统出问题自己都不知道，等上游系统发现问题找过来再去解决问题黄花菜都凉了。
一个完整的监控系统通常由数据采集、数据存储、数据查询和处理、告警以及可视化展示等多个模块组成。所以，要从头搭建一个监控系统，其实也是一个很大的系统工程（CPU、内存、磁盘等系统资源监控不在此次讨论范围）。
本博文带大家搭建一套业务监控系统，涉及流程如下，本章首先介绍虚线框内相关内容：
在这里插入图片描述

一、组成部分简介

本系统基于系统埋点通过产生的日志进行分析做准实时监控，基本架构还是ELK相关技术栈，各组成部分如

了解本专栏 订阅专栏 解锁全文 超级会员免费看
浮生_半日闲
关注
专栏目录
订阅专栏
监控系统---（一）Zabbix
sss
11-30 3903
基本信息 zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案；由zabbix server与可选组件zabbix agent两部分构成： zabbix server可以单独监视远程服务器的服务状态，通过SNMP、zabbix agent、ping、端口监视等方法提供对远程服务器/网络状态的监视，数据收集等功能；同时也可以与zabbix agent配合，可以轮询zabbix agent主动接收监视数据（agent方式），同时还可被动接收zabbix agent发送.
配电房智能辅助监控系统-软件管理平台2020.4.ppt
04-13
配电房智能辅助监控系统-软件管理平台2020 统一界面下视频、门禁、环境、SF6/O2、火灾消防、安全防范所有状态的监控。统一的设备配置管理、故障调度
Prometheus（普罗米修斯）监控系统 - 1、基本原理
weixin_41004518的博客
09-06 1646
Prometheus 通过 pull 模式采集时序数据，结合 PromQL 查询语言和告警系统，适合大规模分布式架构的监控需求。它与 Grafana、Alertmanager 等工具紧密集成，提供了强大的监控、告警、可视化能力。
夜莺v5监控系统-Nightingale
weixin_46031767的博客
06-08 3734
GitHub项目地址： https://github.com/ccfos/nightingale参考文档地址：https://www.bookstack.cn/read/n9e-5.6-zh/usage-alert-cur-event.md 纠错：[root@nightingale-1 docker]# docker --version Docker version 19.03.9, build 9d988398e7docker-compose版本低！要安装高版本的docker-compose 安装完执行d
运维监控系统-监控项及指标的梳理
热门推荐
程序员杂谈
11-06 3万+
综合监控功能工具 综合监控工具完成对被管对象的集中监控、集中维护和集中管理，被管对象包括网络设备、服务器、PC设备、数据库、中间件、存储、备份、安全设备、应用系统等。工程师通过这类工具，完成对被管网元配置、性能、告警信息的采集、处理和分析。通过网管数据的采集和处理，实现对系统的统一监控，形成告警数据、性能数据和配置数据。 监控对象及指标的梳理 编号 对象分类 资源 ...
全球网络波动实时监控系统--网动仪
AIwenIPgeolocation的博客
04-10 2481
网动仪是全球网络波动实时监控系统，系统界面如下图所示。该系统通过分散在世界各地的监测点实时收集 BGP 数据，整合分析全球网络在国家、AS、Prefix 级别的网络波动情况，近实时地动态感知网络异常。 可以进行全球网络波动情况实时监控；含全球视图、国家视图和 AS 视图，对 AS、Prefix 和 IP 数量进行监控支持 30 分钟、1 小时、3 小时等自定义时间段进行监控；支持指定国...
Prometheus监控系统
bkduck的专栏
04-11 5835
1. Prometheus介绍 Prometheus是一个开源的系统监控和警报工具包。自2012年启动以来，许多公司和组织都采用了Prometheus，该项目拥有非常活跃的开发人员和用户社区。它现在是一个独立的开源项目，独立于任何公司进行维护。Prometheus于2016年加入云原生计算基金会，成为继Kubernetes之后的第二个托管项目。 2. Prometheus 特点 Prometheus是一个开源的完整的监控解决方案，基于的是中央化的规则计算、统一分析和告警的新模型。相对于传统监控系统，Prom
监控系统架构方案
kaydenlsr
09-18 3191
对于企业级服务器管理，站群管理，针对服务器的监控是非常必要的。通常，在电脑出现卡死，或进程停止或被挂起的情况下，大家都会使用任务管理器查看进程情况。针对电脑流畅性或资源优化，通常会使用资源管理器进行分析。然而，像windows资源管理器在开启的情况下，仅能查看六十秒的资源使用。而linux下，我们使用top，htop等命令，或ps等命令查看进程与资源使用情况也是仅能查看实时监控的。那么，在该情况下若服务器出现问题，命令无法执行的情况下如何快速定位问题所在及资源占用情况？
服务监控--zabbix
L2111533547的博客
09-08 2598
​​案列：自定义监控客户端服务器登录的人数​​​​需求：限制登录人数不超过 3 个，超过 3 个就发出报警信息//在客户端创建自定义 key1.明确需要执行的 linux 命令2.创建 zabbix 的监控项配置文件，用于自定义 key#可以将自定义的监控项配置文件创建在 zabbix_agent2.d 目录中#自定义监控项的格式如下3.在服务端验证新建的监控项//在 Web 页面创建自定义监控项模板1.创建模板点击左边菜单栏【配置】中的【模板】，点击【创建模板】
Zabbix监控实战-Tomcat监控
GC
03-15 1万+
八、Zabbix监控实战-Tomcat监控 1、方法一：开发java监控页面 [root@qfedu.com tomcat8_1]# cat /application/tomcat/webapps/memtest/meminfo.jsp <% Runtime rtm = Runtime.getRuntime(); long mm = rtm.maxMemory()/1024/1024; long tm = rtm.totalMemory()/1024/1024; long fm = rtm.free
运维监控系列（1）- IT监控系统简介
记录知识、锤炼自我
09-29 2836
资料地址 官网：https://prometheus.io/ Github: https://github.com/prometheus/prometheus 什么是普罗米修斯 Prometheus是最初在SoundCloud上构建的开源系统监视和警报工具包 。自2012年成立以来，许多公司和组织都采用了Prometheus，该项目拥有非常活跃的开发人员和用户社区。现在，它是一个独立的开源项目，并且独立于任何公司进行维护。为了强调这一点并阐明项目的治理结构，Prometheus在2016年加入了 Cloud
QGDW1517.1-2019电网视频监控系统及接口第1部分：技术要求（代替 Q/GDW 1517.1-2014）
08-15
本部分为《电网视频监控系统及接口》标准的第1部分。 本部分代替Q/GDW 1517.1—2014，与Q/GDW 1517.1—2014相比，主要技术性差异如下： ——增加视频监控系统支持信息内网、信息外网或互联网应用（见 5.视频监控系统...
2-KJ95X煤矿安全监控系统--软件操作使用手册（20180301）.chm
11-22
2-KJ95X煤矿安全监控系统--软件操作使用手册（20180301）.chm
DB23_T 2849-2021 公共视频监控系统监控杆体施工规范
03-09
公共视频监控系统监控杆体施工规范 DB23/T 2849-2021是黑龙江省地方标准，规定了公共视频监控系统监控杆体施工的相关要求和规范。本标准遵循GB/T 1.1—2020《标准化工作导则 第1部分：标准化文件的结构和起草规则》...
网络型温湿度监控系统 - 温湿度监控
04-21
网络型温湿度监控系统
netty之SpringBoot+Netty+Elasticsearch收集日志信息数据存储
CSDN_LiMingfly的博客
10-04 474
将大量的业务以及用户行为数据存储起来用于分析处理，但是由于数据量较大且需要具备可分析功能所以将数据存储到文件系统更为合理。尤其是一些互联网高并发级应用，往往数据库都采用分库分表设计，那么将这些分散的数据通过binlog汇总到一个统一的文件系统就显得非常有必要。#开发环境环境准备windows安装包 下载注意 es是以来java环境 所以需要安装jdk 支持1.7以上es-hander下载可视化操作插件@Id//姓名//年龄//级别//时间//电话//邮箱//地址。
Elasticsearch要点简记
长不大的大灰狼
09-30 894
ES（elasticsearch）是一个分布式搜索和分析引擎，它用于快速、实时地搜索和分析大规模数据。ES是一个面向文档的分布式搜索引擎。它的数据模型基于文档，每个文档是一个包含了JSON格式数据的独立单元。文档可以属于不同的索引，每个文档可以具有不同的结构。Elasticsearch提供了一个易于使用的RESTfulAPI。可以使用HTTP请求来执行各种操作，例如索引文档、执行搜索查询、管理索引和节点等。专注于全文搜索和复杂查询，支持分词、模糊搜索、短语匹配等高级搜索功能。
OpenGL ES 顶点缓冲区和布局(3)
起司锅仔的博客
09-29 1181
顶点缓冲区的本质就是一段GPU上的显存，我们通过绑定顶点缓冲区的方式来将数据从CPU传到GPU。我们之前在绘制三角形的例子中，我们往顶点缓冲区只传入了坐标，但是其实顶点是可以包含很多数据的，比如纹理索引，颜色等，因为它的本质其实就是一个Buffer，所以我们可以使用它做非常多的事情。我们前面说了，顶点缓冲区只是一个一段内存，但是GPU并不知道这段内存里的这些数是什么意思，每个数据的含义是什么。所以我们需要告诉GPU顶点缓冲区布局，定义每个数据是什么意思。
Python知识点：如何使用Multiprocessing进行并行任务管理
最新发布
bigorsmallorlarge的专栏
10-05 551
是Python的一个标准库，它允许你创建多个进程，从而实现真正的并行计算。与线程（threading模块）不同，每个进程都有自己的内存空间和Python解释器，这使得进程间不会受到全局解释器锁（GIL）的限制。模块是Python中实现并行计算的强大工具。通过创建多个进程，你可以充分利用多核处理器的能力，加速你的应用程序。使用进程池可以简化任务管理，而进程间通信则允许进程之间交换数据。正确使用可以显著提高你的程序性能。希望本文能帮助你了解如何在Python中使用进行并行任务管理。
中兴通讯电源监控系统详解
"电源监控系统概述" 电源监控系统是一种用于监测和管理电源设备的系统，主要目的是确保通信组合电源和UPS等设备的稳定运行，并实现远程监控和无人值守。系统通常由监控前台（监控站）、监控后台（监控中心）以及...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值