面向特征继承性增减的在线分类算法

摘 要 近年来，在线学习由于其巨大的实际应用价值，已经得到人们广泛的研究.然而，在许多开放环境应用场景下，当前时刻数据可能会增加新的特征，而下一时刻只有部分原有特征得以继承.例如，在环境监测中，新的传感器部署会产生数据新特征；下一时刻部分旧的传感器失效，部分原有特征被保留.这样的数据被称为特征继承性增减的流式数据.传统的在线学习算法大多建立在数据特征空间稳定不变的基础之上，无法直接处理此种情形.针对上述问题，提出了一种面向特征继承性增减的在线分类算法(online classification algorithm with feature inheritably increasing and decreasing, OFID)及其2种变体.当新特征出现时，通过结合在线被动-主动方法与结构风险最小化原则分别更新原始特征与新增特征上的分类器；当旧特征消失时，对数据流使用Frequent-Directions算法进行补全，使得旧分类器得以继续更新迭代.从理论上证明了OFID系列算法的损失上界，同时通过大量的实验验证了所提算法的有效性.

关键词 动态特征空间；继承性增减的特征；矩阵补全；在线学习；二分类

由于现实环境的开放性与复杂性，在许多实际应用中，人们不得不面临数据的数量与特征维度都在同时变化的情形.一个典型的场景就是数据当前的特征增加，下一时刻的数据特征只有部分被继承，并且由于环境变化难以预知，哪些特征会消失、哪些特征会被继承难以提前确定.本文将这样的数据称为特征继承性增减的流式数据.例如，在环境监测任务中，任意时刻环境中都存在着多种不同寿命的传感器，每个传感器的反馈均被视为一个特征[1]，不同特征因为传感器寿命不同，维持的时间