机器学习,最优化数值计算常用算法

一 机器学习表示及数值求解原理

大部分机器学习,尤其是神经网络、深度网络,最优化一个经验损失函数(通常带有正则项),损失函数在某个样本点可表示为: L(β⃗ ,X(i)) L ( β → , X ( i ) ) ,在训练样本上的期望损失函数表示为 L(β⃗ )=1nni=0L(β⃗ ,X(i)) L ( β → ) = 1 n ∑ i = 0 n L ( β → , X ( i ) ) 训练就是给定在样本上寻找期望损失函数 L(β⃗ ) L ( β → ) 全局最小值所在的参数 β⃗  β → 即:

β⃗ =argminβ⃗ ΘL(β⃗ )) β → ∗ = a r g m i n β → ∈ Θ L ( β → ) )

通用的损失函数最优化的数值方法,来源于泰勒展开式,多元函数的泰勒展开式可表示为:
L(β⃗ +tα⃗ )=L(β⃗ )+i=1n(j=1p(tαjβj)iL(β⃗ ))+o(tn)α⃗ 2=1 L ( β → + t α → ) = L ( β → ) + ∑ i = 1 n ( ∑ j = 1 p ( t α j ∂ ∂ β j ) i L ( β → ) ) + o ( t n ) ∀ ‖ α → ‖ 2 = 1

1.1 一阶逼近

一阶泰勒展开式为:

L(β⃗ +tα⃗ )=L(β⃗ )+tL(β⃗ )α⃗ +o(t)α⃗ 2=1 L ( β → + t α → ) = L ( β → ) + t ∇ L ( β → ) α → + o ( t ) ∀ ‖ α → ‖ 2 = 1

给定 β⃗ ,α⃗ 2=1,t>0 β → , ‖ α → ‖ 2 = 1 , t > 0 的条件下,忽略高阶项,在 α⃗ =sL(β⃗ )s=⃗ L(β⃗ )1 α → = s ∇ L ( β → ) , s = ‖ ∇ → L ( β → ) ‖ − 1 时,有最小值。

L(β⃗ tα⃗ )=L(β⃗ )t⃗ L(β⃗ ) L ( β → − t α → ) = L ( β → ) − t ‖ ∇ → L ( β → ) ‖

因此在一阶条件下,最速下降法参数迭代的数值更新公式为:
β⃗ β⃗ t⃗ L(β⃗ ,X)(1) β → ← β → − t ∇ → L ( β → , X ) ( 1 )

1.2 二阶逼近

可以对损失函数进行二阶展开,展开式可以表示为:

L(β⃗ +tα⃗ )=L(β⃗ )+tL(β⃗ )α⃗ +t2α⃗ t2L(β⃗ )α⃗ +o(t2)α⃗ 2=1 L ( β → + t α → ) = L ( β → ) + t ∇ L ( β → ) α → + t 2 α → t ∇ 2 L ( β → ) α → + o ( t 2 ) ∀ ‖ α → ‖ 2 = 1

二阶条件下,给定 β⃗ ,α⃗ 2=1,t>0 β → , ‖ α → ‖ 2 = 1 , t > 0 的条件下, L(β⃗ +tα⃗ ) L ( β → + t α → ) 取得最小值的必要条件是:
L(β⃗ )+t2L(β⃗ )α⃗ =0ta=(2L(β⃗ ))1L(β⃗ ) ∇ L ( β → ) + t ∇ 2 L ( β → ) α → = 0 t a = − ( ∇ 2 L ( β → ) ) − 1 ∗ ∇ L ( β → )

此时 β⃗  β → 的更新参数是:
β⃗ β⃗ (2L(β⃗ ))1L(β⃗ )(2) β → ← β → − ( ∇ 2 L ( β → ) ) − 1 ∗ ∇ L ( β → ) ( 2 )

以上(1)(2)两式是数值求解损失函数的基本方法,不断迭代参数 β⃗  β → ,理想情况下每一步迭代都有 L(β⃗ (k+1))L(β⃗ (k)) L ( β → ( k + 1 ) ) ≤ L ( β → ( k ) ) ,反复迭代更新 β⃗  β → 得到 L(β⃗ ) L ( β → ) 的局部最小值,从而求得 β⃗  β → ∗ ,这就是最优化数值求解的基本思想。
迭代求解的过程,就是机器学习的训练过程,机器学习就是在给定模型和样本的情况下,求解参数 β⃗  β → ∗ .

二 一阶方法

所有一阶方法,都源于损失函数的一次泰勒逼近(线性逼近),主要是对(1)式的改造,重点是处理 L(β⃗ ) ∇ L ( β → ) .

2.1 梯度下降法(GradDescend)

最基础的梯度下降法,参数更新方程就是(1)式。这一方法的弊端在机器学习 –超参数调优中很详细的讨论过了。还有一个问题,就是梯度下降法是锯齿状前进的。
假设上一步搜索的沿梯度方向 v⃗ t1 v → t − 1 前进,并且在此方向上搜索到了参数 β⃗ t β → t β

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值