2021中国高校大数据挑战赛A题复盘+解题思路

引言

由于个人安排的原因，没有时间参加微信大数据挑战赛，倒是参加了2021年中国高校大数据挑战赛。这次比赛做的是中国电信提供数据集的A题，是一个异常检测的题目，一个人做的本科组二等奖，觉得还是不错的。（B题是华为提供的基于深度学习的目标检测的题目，这个没啥意思纯写算法）A题数据量还好，虽然是大数据竞赛，但个人觉得和2021山西省数学建模竞赛B题的数据量比起来还是差点。

题目回顾

异常检测（异常诊断/发现）、异常预测、趋势预测，是智能运维中首当其冲 需要解决的问题。这类问题是通过业务、系统、产品直接关联的 KPI 业务指标 进行分析诊断，指标主要包括用户感知类（如页面打开延时）、服务性能（如用 户点击量）、服务器硬件健康状况（如 CPU 利用率、内存使用率）等关键性能指 标。 不同场景的运维，分析的指标种类差异较大，但都具备时序性特点，不同场 景的 KPI 指标，以毫秒、秒、分钟、小时、天为时间间隔的数据序列都会出现， 有些复杂场景的业务，往往会混合多个时间间隔的数据，但均为随时间变化而变 化的时序数据。

以小区内的平均用户数、小区PCDP流量以及平均激活用户数三个指标为主要研究对象，完成以下问题：

问题 1 异常检测：利用附件的指标数据，对所有小区在上述三个关键指标上 检测出这 29 天内共有多少个异常数值，其中异常数值包含以下两种情况：异常 孤立点、异常周期。

问题 2 异常预测：针对问题 1 检测出的异常数值，通过该异常数值前的数据 建立预测模型，预测未来是否会发生异