看了很多博文,一谈到梯度下降,大多都在画图,类比“下山”。对于一开始想要了解“梯度下降”是个什么玩意儿时,这种类比法是非常有助于理解的。但是,当我大概知道了梯度下降是什么东西之后,我就好奇了,梯度下降究竟是怎样寻找到模型的最优参数的?不能一想到梯度下降,脑海中就只有“下山”的画面,“下山”不是目的,目的在于“下山”的过程中确立参数。下面就简单概述一下,梯度下降过程是如何一步一步寻找到模型的最优参数。
1.梯度下降相关概念:
- 假设函数(hypothesis function):
所谓假设函数,就是监督学习中,我们拟合样本特征映射到目标变量的函数,记为 hθ(x),θ为函数的参数。例如,一个简单的线性回归拟合函数可以表示为:hθ(x) = θ0 + θ1·x;
- 损失函数(loss function):
又称为代价函数。通常用损失函数来度量拟合的程度,从而评估模型拟合的好坏,记为 J(θ)。注意,损失函数是关于 θ 的函数!也就是说,对于损失函数来讲,θ不再是函数的参数,而是损失函数的自变量!例如,对于线性回归的损失函数可以表示为:
J(θ) = 1/(2 *n) * ∑ ( hθ(xi) − yi )2
其中 n 表示样本数量, xi 表示第 i 个样本特征,yi 表示第 i 个样本对应的目标变量的真实值, hθ(xi) 为假设函数。 当我们计算损失时,是将每个样本中的特征 xi 和对应的目标变量真实值 yi 带入损失函数,此时,损失函数中就只剩下 θ 是未知的。
例如,我们的假设函数为: hθ(x) = θ0 + θ1·x1 + θ2·x22 ,其中一个样本为 x1 = (1,2),对应的目标变量 y1= 10。将x1 和y1 带入损失函数,则对于该样本 x1 拟合的损失表示为: θ0 + θ1 + 4*θ2 -10 ;此时,损失函数就是关于θ 的函数了。 每一个样本都会有一个拟合损失,将所有样本的损失相加,就是整个样本集的拟合损失。
- 损失函数的梯度:
损失函数的梯度即对 θi 求偏导,由于损失函数是关于 θ 的函数,因此,θ 的取值不同,得出来的的梯度向量也是不同的。借用“下山”的比喻来解释,θ 的不同取值,相当于处于山上的不同位置,每一个位置都会计算出一个梯度向量 ▽J(θ) 。
2. 梯度下降过程
(1) 学习得到损失函数 J(θ) 及样本点xi 的损失:
例如,对于线性回归模型的假设函数为: hθ(x) = θ0 + θ1·x1 + θ2·x2 ,则损失函数为:J(θ) = 1/(2 *n) * Σ(θ0 + θ1·x1 + θ2·x2 - y)2;我们为样本添加一个维度x0 ,x0 恒等于 1。则,我们可以变损失函数表示为:J(θ) = 1/(2 *n) * Σ(θ0·x0 + θ1·x1 + θ2·x2 - y)2
为了便于讲解和理解,我们先只取一个样本点进行计算。对于样本点 x1 = (x0 = 1,x1 = 1,x2 = 2),对应的目标变量 y1 = 10,的损失为:J(θ)1 = 1/2 *(θ0 + θ1+ 2*θ2 - 10)2
(2) 求出样本点 xi 损失函数的梯度向量:
根据 J(θ) ,求出模型损失函数的梯度向量表示为 : ▽J(θ) = <(θ0·x0 + θ1·x1 + θ2·x2 - y)*x0 ,(θ0·x0 + θ1·x1 + θ2·x2 - y)*x1 ,(θ0·x0 + θ1·x1 + θ2·x2 - y)*x2 >
根据 J(θ)1 ,求出样本点 x1 对应的梯度▽J(θ)1 = <(θ0+ θ1 + 2*θ2 - 10),(θ0+ θ1 + 2*θ2 - 10),(θ0+ θ1 + 2*θ2 - 10)*2 >
(3) 初始化假设函数的参数 θ ,得到相应的梯度向量:
对 θ 进行随机取值,假设θi 第一次全部取0,θ0 = < 0,0,0>;
将θ0 带入 J(θ)1 ,得到 取 θ0 时的损失为 J(θ)01 = 1/2 *(0 + 0+ 2*0 - 10)2 = 50
将θ0 带入▽J(θ)1 ,得到 θ0 处的梯度向量为 ▽J(θ)01 = < -10,-10,-20 > ;
(4) 根据梯度下降步长,进行梯度下降迭代:
设立步长 α = 0.1 ,对 θ0 进行梯度下降,得到 θ1
第一次梯度下降:
θ1 = θ0 - α * ▽J(θ)01 = < 0,0,0 > - 0.1 * < -10,-10,-20 > = < 1,1,2 >
将θ1 带入 J(θ)1 ,得到 取 θ0 时的损失为 J(θ)01 = 1/2 *(1 + 1+ 2*2 - 10)2 = 8
将θ1 带入▽J(θ)1 ,得到 θ0 处的梯度向量为 ▽J(θ)01 = < -4,-4,-8 > ;
第二次梯度下降:
θ2 = θ1 - α * ▽J(θ)01 = < 1,1,2 > - 0.1 * < -4,-4,-8 > = < 0.4,0.4,1.2 >
将θ2 带入 J(θ)1 ,得到 取 θ2 时的损失为 J(θ)01 = 1/2 *(0.4 + 0.4+ 2*1.2 - 10)2 = 23.12
此时我们发现,θ2 处的损失为23.12,大于 θ1 处的损失8,说明,我们可能步子迈的大了,跨过了最低点,我们重新设定α = 0.05,重复上述过程:
重新设立步长 α = 0.05
第一次梯度下降:
θ1 = θ0 - α * ▽J(θ)01 = < 0,0,0 > - 0.05 * < -10,-10,-20 > = < 0.5,0.5,1 >
将θ1 带入 J(θ)1 ,得到 取 θ0 时的损失为 J(θ)01 = 1/2 *(0.5 + 0.5+ 2*1 - 10)2 = 24.5
将θ1 带入▽J(θ)1 ,得到 θ0 处的梯度向量为 ▽J(θ)01 = < -7,-7,-14 > ;
第二次梯度下降:
θ2 = θ1 - α * ▽J(θ)01 = < 1,1,2 > - 0.05 * < -7,-7,-14 > = < 1.35,1.35,2.7 >
将θ2 带入 J(θ)1 ,得到 取 θ2 时的损失为 J(θ)01 = 1/2 *(1.35 + 1.35+ 2*2.7 - 10)2 = 1.805
将θ2 带入▽J(θ)1 ,得到 θ2 处的梯度向量为 ▽J(θ)01 = < -1.9,-1.9,-3.8 >
此时可以继续进行第三次、第四次。。。第n次,那么什么时候梯度下降停止?我们可以设置一个梯度下降算法终止距离值 ε,即梯度下降的距离都小于 ε 时,算法终止。假设我们设置 ε = 0.1(实际运用中,一般会设定一个更小的值,例如 1e-5),上述θ2 的梯度向量为< -1.9,-1.9,-3.8 >,梯度向量中的3个值的绝对值都大于ε ,因此继续进行梯度下降,假设经过n次迭代后的梯度向量为<-0.04,-0.04,-0.08>,三个值的绝对值都小于0.1,则算法终止。
通过上述过程可以看出,重新设置步长 α 后,第二次梯度下降过程没有跨过损失函数最低点,而是更加接近最低点。不断的梯度下降,使得损失函数损失在不断的变小:θ0 的损失为50,θ1 的损失为24.5,θ2 的损失为1.805。 初始在本文的例子中,由于是我随便写的一个损失函数,所以经过2-3次梯度下降之后就接近了损失函数最低点,实际运用中当然不可能这么轻松,梯度下降可能要经过n次迭代,才能接近损失函数的极小值点。另外,梯度下降过程中,除了损失在不断减小,梯度向量也在不断变小:θ0 的梯度为< -10,-10,-20 > ,θ1 的梯度为< -7,-7,-14 >,θ2 的梯度为< -1.9,-1.9,-3.8 >。梯度越来越小,说明”山坡“越来越平缓,不像一开始那么”陡峭“,那么可以说明,我们已经接近”山谷“了。实际上,随着不断的梯度下降,梯度向量中的每个值会越来月接近于0。
讲到这里,大家不要忘记一个事实:上述过程中,我们只选取了一个样本点 x1 进行梯度下降。这种随机选取一个样本点进行梯度下降,找到最优参数θ的方法,就叫做随机梯度下降。而如果我们利用所有的样本数据进行梯度下降,这种方法就叫做批量梯度下降。毫无疑问,批量梯度下降要消耗更多的计算内存和训练时间;而随即梯度下降虽然训练速度快,但是可能得到只是局部最优解。我们也可以折中一下,一共有n个样本,我们取m个子样本进行梯度下降(1<m<n),既提高训练速度,又在一定程度上避免算法收敛到局部最优,这种方法就叫做小批量梯度下降。
参考:https://www.cnblogs.com/pinard/p/5970503.html
https://www.jianshu.com/p/c7e642877b0e