统计学习的核心步骤:模型、策略、算法。
优化(optimization)是算法的一种,迭代优化(iterative optimization)又是优化的一种。
iterative optimization 的一般框架:
wt+1←wt+ηv
根据梯度的相关理论可知, v (方向)得选择为负梯度方向, w 才会下降得最快,也即(此时关于 Ein 求导):
wt+1←wt−η∇Ein(wt)
采用迭代优化,并与最速下降法结合的算法流程为:
(1) w0 ,并计算此时的梯度 Ein(w0)
(2)进行权值的更新, wt+1←wt−η∇Ein(wt)
- (3)一直不断地更新,直到 ∇Ein(wt)=0 ,或者达到足够的迭代次数
采用 iterative optimization 优化的模型主要有:
perceptron 感知机算法
wt+1←wt+1η⋅1sgn(wTtxn)≠ynynxnv
感知机算法的 v (方向)来自于:误分样本的修正(mistake correction);