如何实现Web应用、网站状态的监控？

已于 2023-09-17 10:59:10 修改
阅读量1.9k 收藏 3
点赞数 1
文章标签： 运维开发 运维 java
于 2023-09-17 10:23:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xujianflying/article/details/132939375
版权

如何实现Web应用、网站状态的监控？

  • 关键词：网站监控,服务器监控,页面性能监控,用户体验监控
  • 本文通过代码分析、网站应用介绍网站状态监控的方式
  • 下文主要分为网站应用、技术实现两部分

一、网站应用

  • 现在网络上已经存在一些Web网站监控的服务，虽然功能五花八门，但限制较大，需付费使用
  • 本文介绍的技术运行网站见下方地址，不会关闭，可以直接使用
  • 一个朴实无华且免费的WEB网站监控工具
  • 先看下效果
    在这里插入图片描述
1. 打开网站
https://www.xujian.tech/monitor
2. 微信扫码登录
  • 这里通过微信扫码取得小程序openid，利用openid标记用户，不涉及隐私
    在这里插入图片描述
  • 扫码完成后会自动跳转到系统
3. 进入监控表
  • 进入系统后，选中左侧菜单进入监控表页面
    在这里插入图片描述
4. 添加监控器
  • 监控器支持POST、GET两种请求方式
  • GET请求时，如有参数，请直接放置在地址中
  • POST请求时，如有参数，请在表单中填写JSON键值对对象
  • Header如果有需要，也可按JSON对象方式填写
  • 仅需如下三步，即可完成设置
  • 提交后，点击刷新即可在页面上看到监控器记录（此时还未执行）
    在这里插入图片描述
5. 说明和操作
5.1 关于成功率
  • 初次时显示“未执行”，执行正确计算
5.2 关于监控频率
  • 每次执行完成计算下一次执行时间，默认30分钟一次（免费用户暂不支持自定义频率）
  • 计时器每5分钟执行一次，发现监控器执行时间小于当前时间的，就执行请求
  • 所以监控频率并非严格按照30分钟一次
5.2 相关操作
  • 新增/编辑监控器后，可以点击“立即执行”进行一次请求，观察设置是否正确
  • 需要修改时，可点击“编辑”按钮对监控器内容进行修改
  • 点击运行记录，可查看近期运行的情况
  • 运行记录中，点击结果复制，可以复制运行的结果（当返回内容大于512b的时候，只存储前512个内容）
  • 需要邮件通知的用户，可点击右上角头像设置邮箱，在系统异常的时候，会通过邮件进行提示，邮件内容如下：
    在这里插入图片描述
6. 功能拓展
  • 如果有更多建议、合作，请在本文下方留言
  • 或按网站提示添加作者

二、技术实现

1. 技术栈
  • 实现一个监控器需前端、后端、数据库、缓存等技术
  • 本站主要应用了以下技术：
序号技术所属端
1VUE前端
2Vue Element Admin前端
3Java后端
4MySQL 数据库后端
5Redis缓存后端
6Nginx运维
7MyBaits-plus后端
2. 核心代码
  • 实现web应用监控的核心是定期按规则进行请求，并将结果记录，遇到错误时发送邮件提醒
  • 本文以在Spring Boot中实现为例，除Spring Boot基础依赖外，还需添加如下依赖
	<!--发送邮件-->
	<dependency>
	    <groupId>org.springframework.boot</groupId>
	    <artifactId>spring-boot-starter-mail</artifactId>
	</dependency>
	<!--糊涂工具，实现网络请求、工具类等-->
	<dependency>
	    <groupId>cn.hutool</groupId>
	    <artifactId>hutool-all</artifactId>
	    <version>5.8.20</version>
	</dependency>
    <dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
        <version>1.18.0</version>
    </dependency>
2.1 监控器实体
  • 记录监控器基本属性、执行时间、统计结果等
  • 下方代码含实体和下次执行时间计算方法
@Data
@Builder
@TableName("m_monitor")
public class MMonitor {

    @JsonFormat(shape = JsonFormat.Shape.STRING)
    private Long id;
    //监控器名称
    private String name;
    //创建时间
    private Date createdAt;
    //下次运行时间，定时器筛选时的重要指标
    private Date nextRunAt;
    //上次运行时间
    private Date lastRunAt;
    //计时器类型，1=分钟，2=小时，3=天
    private Integer timerType;
    //是否已伤处，1=已删除，0=正常
    private Integer isDeleted;
    //计时器步长，整数值
    private Integer timerLength;
    //监控器状态，1可用，0停用
    private Integer status;
    //用户微信小程序openid
    private String openid;
    //请求URL
    private String toUrl;
    //请求方法，GET、POST
    private String toMethod;
    //请求参数，JSON Object
    private String toParams;
    //请求header，JSON Object
    private String toHeaders;
    //返回结果包含为成功，当toResultCode不等于200的时候生效
    private String toResult;
    //返回结果code为成功，200表示用code，其他表示包含字符串
    private Integer toResultCode;
    //POST请求体格式，0=json,1=form
    private Integer toBodyType;
    // 最新一次运行情况：1正常，0异常
    private Integer runStatus;
    // 最新一次运行情况中文，成功、失败、失败原因
    private String runResult;
    // 运行成功次数
    private Integer countSucceed;
    // 总运行次数
    private Integer countAll;

    //分钟数最短步长，即最短30分钟一次
    private static final int MIN_MINUTE_LENGTH = 30;

    // 下次执行时间计算方法
    public void calNextRunAt(){
        if(this.lastRunAt == null){
            this.lastRunAt = new Date();
        }
        timerType = timerType == null ? 1 : timerType;
        if(this.timerLength == null || this.timerLength < 1){
            this.timerLength = 30;
        }
        int addMinute = 0;
        switch (timerType){
            case 1:
                addMinute = timerLength;
                break;
            case 2:
                addMinute = 60 * timerLength;
                break;
            case 3:
                addMinute = 60 * 24 * timerLength;
                break;
        }
        addMinute = Math.max(addMinute,MIN_MINUTE_LENGTH);
        this.nextRunAt = new Date(System.currentTimeMillis() + 1000L * 60 * addMinute);
    }
}
2.2 计时器
  • 利用Spring Boot的Scheduled定时器实现
@Component
@Slf4j
public class MonitorTimerTask {

    @Resource
    MMonitorMapper monitorMapper;
    @Autowired
    MonitorService monitorService;

    @Scheduled(cron="0 0/5 * * * *")
    public void exec(){
        List<MMonitor> monitorList = monitorMapper.selectList(
                new LambdaQueryWrapper<MMonitor>()
                        .isNotNull(MMonitor::getNextRunAt)
                        .lt(MMonitor::getNextRunAt,DateUtil.formatDateTime(new Date()))
                        .eq(MMonitor::getStatus,1)
                        .eq(MMonitor::getIsDeleted,0)
                );
        log.info(String.format("符合执行条件的监控器有%d个", monitorList.size()));
        for (MMonitor mMonitor : monitorList) {
            monitorService.run(mMonitor);
        }
    }
}
  • 定时器不生效？记得在SpringBootApplication上添加注解：@EnableScheduling
2.3 按规则进行请求
  • 即按监控器的toXX字段配置的内容填充请求参数，进行请求！
  • 本段不多说，直接上代码

    /**
     * 运行监控器的方法实现，运行从这里开始
     * */
    @Override
    public void run(MMonitor monitor) {
        long timestamp = System.currentTimeMillis();

        if(monitor.getIsDeleted() != null && monitor.getIsDeleted() == 1){
            return;
        }
        Date date = new Date();
        boolean isSucceed = false;
        String resultMsg = "成功";
        String requestResult = "";
        int code = 0;

        try{
            HttpResponse httpResponse = null;
            if(monitor.getToMethod() != null && monitor.getToMethod().equalsIgnoreCase("GET")){
                HttpRequest httpRequest =  HttpRequest.get(monitor.getToUrl());
                setHeaders(httpRequest,monitor);
                httpResponse = httpRequest.execute(false);
            }else{
                HttpRequest httpRequest =  HttpRequest.post(monitor.getToUrl());
                setHeaders(httpRequest,monitor);
                setPostParams(httpRequest,monitor);
                httpResponse = httpRequest.execute(false);
            }
            code = httpResponse.getStatus();
            requestResult = httpResponse.body();
            if(monitor.getToResultCode() == 200){
                isSucceed = code == 200;
                if(!isSucceed){
                    throw new Exception("返回结果HTTP CODE不为200");
                }
            }else {
                isSucceed = requestResult.contains(monitor.getToResult());
                if(!isSucceed){
                    throw new Exception("返回结果缺少包含内容");
                }
            }
        }catch (Exception e){
            isSucceed = false;
            resultMsg = e.getMessage();
        }

        if(isSucceed){
            monitor.setCountSucceed(monitor.getCountSucceed() + 1);
        }
        monitor.setCountAll(monitor.getCountAll() + 1);
        monitor.setRunStatus(isSucceed ? 1 : 0);
        monitor.setRunResult(resultMsg);
        monitor.calNextRunAt();
        monitor.setLastRunAt(date);
        monitorMapper.updateById(monitor);

        timestamp = System.currentTimeMillis() - timestamp;
        log.info(monitor.getName() + String.format("检查完毕，耗时%dms.", timestamp));

        if(requestResult != null && requestResult.length() > 512){
            requestResult = requestResult.substring(0,511) + "...";
        }

        MRunRecord runRecord = MRunRecord.builder()
                .monitorId(monitor.getId())
                .runCode(code)
                .runResult(requestResult)
                .runAt(date)
                .timeSpent(timestamp)
                .openid(monitor.getOpenid())
                .runStatus(isSucceed ? 1: 0)
                .build();
        mRunRecordMapper.insert(runRecord);
        sendEmail(runRecord,monitor);
    }
    
    /**
     * 发送邮件
     * */
    private void sendEmail(MRunRecord runRecord,MMonitor monitor){
        if(runRecord.getRunStatus() != null && runRecord.getRunStatus() == 1){
            return;
        }
        new Thread(() -> {
            MUser user = userMapper.selectOne(new LambdaQueryWrapper<MUser>().eq(MUser::getOpenid,runRecord.getOpenid()).orderByDesc(MUser::getId).last(" LIMIT 1"));
            if(user == null || StrUtil.isBlank(user.getEmail()) || user.getEmail().length() < 5 || !user.getEmail().contains("@")){
                return;
            }
            String subject = "【亚特技术Web监控】【监控异常】" + monitor.getName();
            String text =
                    "----------------详情登录网站查看----------------\n" +
                    "-------------------请求内容-------------------\n" +
                    "URL：" + monitor.getToUrl() + "\n" +
                    "Method：" + monitor.getToMethod() + "\n" +
                    "-------------------返回内容-------------------\n" +
                    "HttpCode：" + runRecord.getRunCode() + "\n" +
                    "Result：" + runRecord.getRunResult() + "\n";
            eMailUtils.sendTextMailMessage(user.getEmail(), subject, text);
        }).start();
    }

    /**
     * 分析规则设置Post参数
     * */
    private void setPostParams(HttpRequest httpRequest,MMonitor monitor){
        if(monitor.getToBodyType() != null && monitor.getToBodyType() == 1){
            //application/json 方式请求
            httpRequest.contentType("application/x-www-form-urlencoded;charset=GBK");
            try{
                if(!JSONUtil.isTypeJSONObject(monitor.getToParams())){
                    return;
                }
                JSONObject joParams = new JSONObject(monitor.getToParams());
                Map<String, Object> paramsMap = new HashMap<>();
                for (String key : joParams.keySet()) {
                    paramsMap.put(key,joParams.getStr(key));
                }
                httpRequest.form(paramsMap);
            }catch (Exception e){

            }
        }else if(monitor.getToBodyType() != null && monitor.getToBodyType() == 0){
            httpRequest.contentType("application/json");
            httpRequest.body(monitor.getToParams());
        }
    }

    /**
     * 分析规则设置header
     * */
    private void setHeaders(HttpRequest httpRequest,MMonitor monitor){
        try{
            if(!JSONUtil.isTypeJSONObject(monitor.getToHeaders())){
                return;
            }
            JSONObject joHeader = new JSONObject(monitor.getToHeaders());
            Map<String,String> headerMap = new HashMap<>();
            for (String key : joHeader.keySet()) {
                headerMap.put(key,joHeader.getStr(key));
            }
            httpRequest.addHeaders(headerMap);
        }catch (Exception e){

        }
    }

三、结尾说明

  • 第一部分说的网站已经可用了，欢迎试用、欢迎长期使用、欢迎联系合作、欢迎定制功能
  • 第二部分给出了核心内容，但这部分实际上不是实现整个网站最耗时的：前端开发工作也是费力不讨好的
  • 本人同时还提供Java开发一对一教学，有需要的添加微信：xujian_cq详聊
  • 欢迎点赞、收藏、评论
成旭先生
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
WEB应用监控软件
03-06
一款多线程的网站监控工具，能监视HTTP, SMTP, POP3, FTP, DNS, TCP和数据库等多种internet网络服务，一旦有问题被检测到或有错误发生它会提出通报，也能分析服务器响应时间并向你发送报告。
网站状态监控php版 1.0
02-22
【网站状态监控php版 1.0】是一个用于监测网站运行状态的PHP应用程序，主要功能是每小时自动检查一次目标网站是否能正常打开，并将监控结果记录到日志中。这个解决方案对于网站管理员来说非常实用，因为它可以帮助...
推荐开源项目：Website Monitor - 网站实时监控神器
gitblog_00018的博客
06-03 349
推荐开源项目：Website Monitor - 网站实时监控神器 项目地址:https://gitcode.com/neatnik/website-monitor 项目介绍 Website Monitor 是一个简单而实用的网站监测工具，它的灵感来源于 broke.lol。这个项目旨在帮助你轻松追踪所关注网站的状态，确保它们随时可用并保持正常运行。通过简洁的界面，你可以直观地查看各个网站的实时状...
推荐开源神器：Urlwatch — 网页监控与变更通知的得力助手！
gitblog_00067的博客
05-12 293
推荐开源神器：Urlwatch — 网页监控与变更通知的得力助手！ 项目地址:https://gitcode.com/thp/urlwatch 项目介绍 在信息爆炸的时代，我们常需关注众多网页以获取最新的数据或新闻，但手动刷新太耗时。这时，【Urlwatch】来帮你解决这个问题！它是一款强大的网页监控工具，可以自动监测设定的网页，并在发生变更时通过邮件、终端或其他第三方服务及时通知你，让你轻松掌握...
web.Monitor：网页变化监控的高效工具
最新发布
gitblog_00038的博客
06-23 473
web.Monitor：网页变化监控的高效工具 项目地址:https://gitcode.com/e1abrador/web.Monitor 在数字化时代，实时跟踪和监控网站的变化对于市场研究、竞争对手分析乃至网站维护至关重要。web.Monitor正是这样一款快速且用户友好的Web变更追踪工具，它集成了高级功能，将自动化监控提升到了新的高度。 项目介绍 web.Monitor以简洁直观的设计理念...
如何进行 web 性能监控？
知之为知之，不知为不知
05-13 1537
我们可转化为三个方面来看：响应速度、页面稳定性、外部服务调用。 响应速度：页面初始访问速度 + 交互响应速度； 页面稳定性：页面出错率； 外部服务调用：网络请求访问速度；
支持全球探测点的新一代网站监控
weixin_33796205的博客
05-22 107
当你的网站开发完成了，你是不是想知道全国各地到服务器的网络访问情况。 当你的网站上线了，你是不是不想变成熊猫眼24小时盯着网站运行情况。 当你的网站商业化了，你是不是想对竞争对手的应用也做做监测，看看谁更牛掰。 当你的应用出现网络异常时，你是不是想知道问题出在哪里？ 广告 云监控全面支持跨云账号的资源管理 https://yq.aliyun.com/ar...
Web站点安全监控
weixin_40050195的博客
08-13 180
阿里云大学课程：Web站点安全监控 课程介绍 Web站点安全监控认证旨在帮助学员了解一个典型的WEB站点的监控需求与目标，课程对比了采用传统方法实现站点监控的方式与优缺点，帮助学员快速掌握阿里云的云监控以及云监控的主要功能。 通过学习云监控的站点级监控、主机级监控、自定义监控等功能对一个Web站点进行全方位监控，最后基于阿里云云监控通过一个动手实践实现了一个简单WEB的安全监控，强调了网站运...
WebEye - 实时监控你的网站状态
gitblog_00028的博客
03-16 444
WebEye - 实时监控你的网站状态 WebEye 是一个轻量级的开源项目，可以帮助你实时监控你的网站状态，并在出现问题时通过邮件或短信通知你。 项目功能 WebEye 可以帮助你实现以下功能： 监控多个网站的状态。 在网站出现故障时发送通知（支持邮件和短信）。 提供详细的网站性能数据（如响应时间、成功率等）。 可以自定义监控频率和通知策略。 使用场景 WebEye 可用于多种场合，例如： ...
几个网站状态监视工具
weixin_34269583的博客
08-18 440
几个网站状态监视工具 你怎么知道你的网站是不是down了? 用下面的这些在线监视工具就可以知道: 基本信息 站点检查间隔时间(分钟) SiteUptime 30 Site24x7 60 HostTracker 30 监控宝 15 mon.itor.us 30 测试 我注册了以上5个服务, 添加需要监视...
网站监控工具
10-26
实时监控站点是否能打开。
WebMonitor:实时监控网页变化，并发送通知（Monitor web page changes in real time and send notifications）
05-01
| | 特性 支持requests请求网页，支持使用PhantomJS抓取异步加载的网页 支持 xpath 和 css selector 选择器，支持 JsonPath 提取 json 数据 支持邮件，pushover，微信提醒（support by server酱），Bark推送，自定义GET/POST通知, Slack 通知以及 Telegram 通知 支持一个任务多个选择器提取信息 支持自定义消息模板 简洁的UI，可视化操作 支持自定义请求头，抓取需要登录的网页 支持设置监控规则 监控RSS更新 数据导入导出 Buy Me a Coffee
网页监控软件
12-17
自动监控网页更新内容，便于发现更新网站资讯。内含注册码，仅供网友交流使用。
网站服务监控
07-29
网站服务监控 http监控软件
Web服务器运行状态实时监控 v2.0
11-02
服务器端和监控端可独立运行，也可配合使用服务器端主要功能： 服务器端的主要功能是对服务器自己提供的服务进行实时监控。一旦监控的服务出现问题，监控程序将按事先设定的操作来恢复服务，包括自动重启IIS服务，按要求执行一定的命令序列，当机自动重启服务器，实时记录监控日志，每天定时启动服务器，网络流量及流速显示等功能。从而可以最大限度第对用户提供Internet服务，最大限度地提高服务器数字资源的利用率。远程监控端功能： 监控端可以同时对多台服务器提供的多个服务进行监控，实行多线程管理，可以在远程任何能访问服务器的地方进行实时监控服务器运行状况。可以随意增加、删除、修改需要监控的服务，具有锁定本机桌面、重启远程IIS 服务、对服务器发送DOS 命令、远程重启关闭服务器、远程桌面控制、远程文件传输、网络校时等功能。如果监控的任何一个服务出现问题，监控端会连续不断地播放音乐、或用扬声器报警，也可对相应的系统管理员发送邮件，提示故障信息。直至所有服务正常。
Spring Boot Admin微服务应用监控的实现
08-25
Spring Boot Admin 是一款用于监控基于Spring Boot的应用程序的工具，它能够收集并展示应用程序的各种运行时信息，为开发者和运维人员提供了一种图形化的界面来查看和管理微服务的健康状态。通过集成Spring Boot ...
Web应用安全：Web应用服务器.pptx
06-19
Web应用安全是一个重要的议题，尤其是随着互联网的普及和数字化转型的加速，Web应用已经成为企业和服务提供商的核心组成部分。Web应用服务器是支撑这些应用的关键基础设施，它们不仅处理HTTP协议，还负责处理动态...
iis应用程序池监控方法实例
09-30
在IIS中，应用程序池（Application Pool）是一个独立的进程，用于承载一个或多个Web应用程序，确保不同应用程序之间的隔离，避免一个应用程序的问题影响到其他应用程序。当应用程序池意外停止时，可能会导致服务中断...
智能宿舍监控系统web开发
09-07
智能宿舍监控系统是一种集成了多种技术的web开发项目。 首先，我们可以采用前端开发技术来构建用户界面。通过使用HTML、CSS和JavaScript等技术，我们可以设计出直观、易用的页面，供用户使用。 其次，对于后端开发，我们可以选择使用合适的编程语言和框架来实现系统的功能。例如，我们可以使用Python语言和Django框架来处理系统的逻辑和数据库交互。通过编写后端代码，我们可以实现宿舍智能设备的监控和管理功能。 此外，为了实现宿舍监控系统的实时性和稳定性，我们可以使用一些其他技术。例如，我们可以使用WebSocket来实时传输监控数据，以确保用户可以及时获得最新的宿舍状态。同时，我们还可以使用缓存技术来提高系统的响应速度，减轻服务器的压力。 在数据存储方面，我们可以选择使用关系型数据库或者NoSQL数据库来存储宿舍相关的信息。通过使用数据库技术，我们可以将宿舍状态、设备管理信息、用户数据等存储在可靠的数据源中，并且可以方便地进行查询和更新。 最后，为了保证系统的安全性，我们可以采取一些安全措施。例如，使用HTTPS协议来进行数据传输加密，使用身份验证机制来确保只有授权的用户可以访问系统。 总而言之，智能宿舍监控系统的web开发涉及到前后端技术的应用、实时数据传输、数据库设计以及安全措施的实施等方面。通过合理地使用这些技术，我们可以开发出一个功能完善、易用且安全可靠的智能宿舍监控系统。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值