FTRL算法详解

 

一、算法原理

二、算法逻辑

三、个人理解

  • 从loss function的形式来看:FTRL就是将RDA-L1的“梯度累加”思想应用在FOBOS-L1上,并施加一个L2正则项。【PS:paper上是没有加L2正则项的】
  • 这样达到的效果是:
    • 累积加和限定了新的迭代结果W**不要离“已迭代过的解”太远**;
    • 因为调整后的解不会离迭代过的解太远,所以保证了每次找到让之前所有损失函数之和最小的参数;
    • 保留的RDA-L1中关于累积梯度的项,可以看作是当前特征对损失函数的贡献的一个估计【累积梯度越大,贡献越大。】
    • 由于使用了累积梯度,即使某一次迭代使某个重要特征约束为0,但如果后面这个特征慢慢变得稠密,它的参数又会变为非0;
    • 保留的RDA-L1中关于累积梯度的项,与v相加,总会比原来的v大,加起来的绝对值更容易大于L1的阈值,保护了重要的特征;
  • FTRL的巧妙之处在于:
    • 在MSE的前面乘以了一个和learning_rate有着神奇关系的参数σ_s。
    • 因为这个参数,保证了FTRL在不使用L1时和SGD保持了一致性。
  • FTRL使用的自适应learning_rate,其思想和 Adagrad Optimizer 类似的自适应思想:
    • 如果特征稀疏,learning_rate就大一点;
    • 如果特征稠密,learning_rate就小一点;
  • FTRL中为什么要同时兼顾FOBOS-L1和RDA-L1??
    • 因为不是为了产出稀疏而进行变化,真正的目的是产出有效的稀疏解。即稀疏又保留有效特征!!!
    • 稀疏靠RDA-L1,保留有效特征靠FOBOS-L1和RDA-L1的累积梯度思想。
  • 本质上,FTRL只是一种适用于online-learning的optimizer;
  • FTRL-Proximal中的Proximal的含义:
    • t+1次迭代的解,不能离t次迭代的解太远;
    • t+1次迭代的解,不能离0太远;
    • 是对具体约束的表达。

小结:

 

  • FOBOS-L1:使用MSE+L1对w_{t+1/2}进行建模,目标是使调整后的梯度在离SGD结果附近的基础上,产出稀疏解;
  • RDA-L1:使用累积平均梯度 + L1 + L2进行建模,这里使用L2有两方面的理解:
    • 能产出极小值点;
    • 调整后的梯度不能与零点太远;
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值