GAIA-DataSet: 一站式开源AIOps数据集
GAIA-DataSet 是由 CloudWise-OpenSource 提供的一个全面的、用于分析运维问题的开源数据集,如异常检测、日志分析、故障定位等。该项目主要使用 Python 语言进行开发。
项目基础介绍
GAIA-DataSet(全称 Generic AIOps Atlas)是一个旨在帮助研究人员和开发人员分析和解决运维问题的数据集。它包含了从业务模拟系统 MicroSS 中收集的指标、日志和详细的跟踪数据,以及模拟真实系统可能出现的异常情况。
核心功能
- 数据集全面:包含超过6500个指标,700万个日志条目,以及持续两周的详细跟踪数据。
- 异常模拟:通过控制用户行为和模拟对系统的错误操作,记录所有异常注入,以公平评估故障原因分析算法。
- 多样化数据类型:数据集包括时间序列数据、日志解析、日志语义异常检测和命名实体识别(NER)数据。
最近更新功能
- 数据更新:添加了2021年8月的MicroSS数据,丰富了数据集的时间跨度和多样性。
- 新业务场景:部署了新的业务场景,包含系统日志,为研究提供了新的数据源。
- 监控支持:增加了对更多常用中间件和数据库的监控,如 Zookeeper、Redis、MySQL 等。
- 异常注入方法:设计了更多的异常注入方法,以更真实地模拟系统故障。
以上更新进一步提升了 GAIA-DataSet 的实用性和研究价值,为运维问题的分析和解决提供了更强的支持。