机器学习笔记整理(十)——新兴机器学习算法

本文介绍了新兴的机器学习算法,包括在线学习的优势,如有效地处理大规模数据;被动攻击学习,其通过损失函数和惩罚系数进行模型优化;以及适应正则化学习,它结合在线学习特性,处理异常值并学习参数的概率分布。
摘要由CSDN通过智能技术生成

1.在线学习

  • 逐次学习算法:将训练样本逐个输入到学习算法中,新数据进来时对现有的结果进行更新
  • 当n非常大时,对于有限内存的利用和管理很有效

2.被动攻击学习

合理选择损失函数,通过求最优解析解得到最优解;引入惩罚系数,表示偏离现在的解的幅度,用于适当调整梯度下降量

  • 优点:方便简单
  • 缺点:激进学习,参数值变动大

被动攻击分类

  • 损失函数:二乘Hinge损失或Hinge损失
  • 使用拉格朗日对偶函数求最优解析解

被动攻击回归

  • 损失函数:l_{1}损失或者l_{2}损失
  • 使用拉格朗日对偶函数求最优解析解

3.适应正则化学习

利用在线学习特性的鲁棒学习算法,可以更好地处理异常值

不只对参数进行学习,也对参数概率分布进行学习,假设参数概率分布是期望为

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值