1.在线学习
- 逐次学习算法:将训练样本逐个输入到学习算法中,新数据进来时对现有的结果进行更新
- 当n非常大时,对于有限内存的利用和管理很有效
2.被动攻击学习
合理选择损失函数,通过求最优解析解得到最优解;引入惩罚系数,表示偏离现在的解的幅度,用于适当调整梯度下降量
- 优点:方便简单
- 缺点:激进学习,参数值变动大
被动攻击分类
- 损失函数:二乘Hinge损失或Hinge损失
- 使用拉格朗日对偶函数求最优解析解
被动攻击回归
- 损失函数:损失或者损失
- 使用拉格朗日对偶函数求最优解析解
3.适应正则化学习
利用在线学习特性的鲁棒学习算法,可以更好地处理异常值
不只对参数进行学习,也对参数概率分布进行学习,假设参数概率分布是期望为