「会魔法的老人」团队在2023大数据挑战赛中荣获全国第二名。他们针对IT系统故障发现，通过分析Trace、Log和Metric数据，构建特征并应用OVR+XGBoost/LightGBM模型融合，提升了故障识别的准确性和系统稳定性。团队分享了深入业务理解、数据转化以及模型构建的经验，展示了数据科学在IT运维中的应用。
团队名称
会魔法的老人
团队成员
刘克林（重庆邮电大学）
敖宇（重庆邮电大学）
杨敏（重庆邮电大学）
团队名次
全国第二名
赛题描述说明介绍
2023大数据挑战赛赛题说明+决赛评分标准回顾
参赛分享与收获
本次大赛赛题为基于多源数据的 IT 系统故障发现，指在 IT 系统中通过分析来自多个数据源的数据来发现故障的过程。我们团队通过对Trace、Log和Metric三种数据源分别进行业务理解和数据分析，并构建对应的相关序列信息特征以及交叉统计特征等，成功克服了Log源数据繁多且复杂的情况以及Metric源因统计粒度不同导致空值过多的情况。并使用基于缺失和位置信息的特征筛选方法，通过OVR+XGBoost/LightGBM结合K折交叉验证进行建模，最后引入元学习器进行模型融合，不仅有效的保留了重要特征降低特征维度还提升了模型的鲁棒性。本方案使用的特征维度少，训练速度快，并采用树模型进行建模，消耗资源少，能够快速上线部署，帮助 IT 运维人员更准确地识别故障源和进行应急响应，从而提高系统的稳定性和
最低0.47元/天 解锁文章
扫一扫
500
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
