B. 智能运维 --- 质量保障 --- 故障预测

B. 智能运维 — 质量保障 — 故障预测

基于机器学习的磁盘故障预测

• 复杂度
  • 不是所有的SMART属性都与磁盘故障相关
  • 磁盘故障数据高度不平衡
  • 不同类型的磁盘SMART存在差异
• 解决方案
  • 选择SMART属性。使用突变点(changepoint)检测的方法对SMART属性分类，选择与磁盘替换相关的SMART属性。对于不同型号的磁盘，与磁盘替换事件相关的SMART属性是不相同的。
  • 生成时间序列。使用指数平滑来生成简化但是信息丰富的时间序列。
  • 解决数据不平衡性。通过欠抽样(downsampling)选择具有代表性的健康磁盘的数据，然后用这些数据来代表全部的健康磁盘，从而使健康磁盘与替换磁盘的比例达到平衡。
  • 对磁盘状态分类。RGF是一个分类算法，可以将磁盘的状态分成0/1的状态，如果当前时间序列被分成1状态，则认为磁盘即将出现故障，需要更换磁盘。
  • 迁移学习。考虑到同一厂商生产的不同磁盘模型之间也存在一定差异，本文使用了迁移学习的方法，从而利用某种磁盘上训练的模型来预测同一厂商的其他磁盘的故障替换情况。
    • 同一个厂商的不同磁盘模型之间有一定的关联性，但是他们之间存在样本选择偏差
      • 具体的，对于两种磁盘模型1和2，将带标签的磁盘1实例与无标签的磁盘2实例放在一起。训练一个分类函数，使f(x)表示一个磁盘属于模型1或模型2的概率。利用分类函数f对带标签的训练数据集进行重新采样，从而消除样本选择偏差，使训练集与测试集数据服从同一分布。
      • 此时，根据重新采样的训练集，利用前文所述的RGF算法训练出函数，g(x)代表该类型磁盘的一个实例需要进行替换的概率。由于重新采样的训练集与测试集服从相同的数据分布，因此可将预测函数g直接应用于同一厂商生产的其他磁盘模型上（测试集）。