华为网络人工智能NAIE日志异常检测竞赛

比赛任务

引入AI算法进行日志异常检测，日志异常检测的通常做法分为4步：

1. 收集日志。华为已经准备好了日志数据，并划分为了训练集和测试集。
2. 日志解析。日志解析又称模板提取。日志解析的目的是将非结构化或半结构化的日志数据转换为结构化模板数据。日志通常是由代码中对应的“模板”打印出来，例如：模板“Received block * of size * from *”可以用print函数打印出来一条日志Received block blk_321 of size 67108864 from /10.251.198.04，也可以打印出来另一条日志Received block blk_005 of size 0321428 from /10.251.198.12，等等。通过日志解析，可以将原始日志“还原”为对应的模板。
3. 特征提取。日志异常检测通常是分析模板的行为来判断是否发生异常。模板的特征可以由业务经验丰富的研发人员设计出来，也可以使用神经网络(如LSTM)自己学习得到。
4. 异常检测。通过分析模板特征得出异常发生的时间与对应的异常日志或异常类型。
   

评价标准

可以以5分钟为最小时间单位，即一个时间片(time_slice)，time_slice的格式为year/month/day hour:min:sec, 其中分钟min为5的整数倍，具体情况参看上边的submit.csv第二列。若某个时间片上有异常，则标记为1，若不存在异常，则标记为0. (备注：time_slice的具体大小，参赛者也可以自己定义。time_slice=5min为建议值）
TP(True Positive): 真实为 1，预测也为 1；
FN(False Negative): 真实为 1，预测为 0；
FP(False Positive): 真实为 0，预测为 1；
TN(True Negative): 真实为 0，预测也为 0。

按以下公式计算参赛者的成绩评分，依据准确率P和召回率R，计算 F1-score,最后按照 F1-score 对所有参赛者进行排序。

• P = TP/(TP+FP) （准确率指预测为异常的数据里有多少是真的异常）
• R = TP/(TP+FN) （召回率指真的异常数据里有多少被预测出异常）
• F1-score = 2PR/（P+R）（调和平均数，受较小值短板影响较大）