1.1.15. Passive Aggressive Algorithms
一、简介:
被动攻击算法体现出了一种在线学习(online learning)的思想。
之前在逻辑回归一章我们讨论过将分类问题转化为回归问题的方式。里面有两个核心关键词:可能性(程度)和可能性(概率)。
在这里,我们对模型的优化从两点考虑。
- 样本是否分类正确
- 模型预测的可能性(程度/概率)是否贴近实际。
Passive Aggressive Algorithms
算法根据以上的判断准则优化自己的模型:
- 在样本分类正确 且 模型对可能性的预测准确(程度大于一)时,模型不做调整(这里体现出了被动)
- 在样本分类正确 但 模型对可能性的预测有失偏颇(不太准确)时,模型做出轻微的调整
- 在样本分类错误时,模型做出较大的调整(体现出较强的“攻击性”)
二、具体实现
这里引用的是skearn里提供的文献“Online Passive-Aggressive Algorithms” K. Crammer, O. Dekel, J. Keshat, S. Shalev-Shwartz, Y. Singer - JMLR 7 (2006)
我们拿PA来举例。首先将目光投向损失函数(suffur loss) m a x { 0 , 1 − y t ( ω t ⋅ x t ) } max\{0, 1-y_t(\omega_t\cdot x_t)\} max{ 0,1−yt(ωt⋅