参照《机器学习》这本书的第4.4.3节。
一.解决目标及情景假设:
当给定一些数据,输入x向量已知,输出y也已知,设计一个线性函数y=h(x)去拟合这些数据。
既然是线性函数,在此不妨设为h(x)=w0*x0+w1*x1。
此时我们遇到的问题就是如何确定w0和w1这两个参数,即w=(w0,w1)这个向量。
既然是拟合,则拟合效果可以用误差函数:E(w)=∑ [ h(x)- y ] ^2 / 2 来衡量。
其中w是权重二维向量,x是输入二维向量,x和y都是训练集的数据,即已知。
至于后面除于2只是为了之后的推导过程中对E求导时候可以消除系数,暂时可以不管。
因为我们解决的目标是找出一个向量w=(w0,w1)使得E(w)值最小,即误差最小。
其实这个问题本质上也是搜索最优解的问题,如果用暴力搜索的话,随机取每个可能的值去让机器每天每夜地跑,显然这是不可能的。
所以此时有一种搜索策略:梯度下降。
二. 梯度下降方法:
梯度其实就是高数求导方法,对E这个公式针对每个维数(w0,w1)求偏导后的向量▽E(w)=(∂E/∂w0,∂E/∂w1)
梯度为最陡峭上升的方向,对应的梯度下降的训练法则为:
w=w-η▽E(w)
这里的η代表学习速率,决定梯度下降搜索中的步长 。
上式的w是向量,即可用将该式写成分量形式为:wi=wi-η*∂E/∂wi
现在关键就使计算∂E/∂wi:
推导过程很简单,书上写的很详细,这里只记录结论:
∂E/∂wi=∑(h(x)-y)*(xi)
这里的∑是对样本空间,即训练集进行一次遍历,耗费时间较大,可以使用梯度下降的随机近似:
随机梯度下降策略来改进时间。
三.随机梯度下降的随机近似:
既然是随机近似,则顾名思义,肯定是用近似方法来改善梯度下降时候的时间复杂度问题。
正如上所说,在∂E/∂wi=∑(h(x)-y)*(xi)
的时候∑耗费了大量的时间,特别是在训练集庞大的时候。
所以肯定有人会猜想,如果把求和去掉如何,即变为∂E/∂wi=(h(x)-y)*(xi)。
幸运的是,猜想成立了。
只是要注意一下标准的梯度下降和随机梯度下降的区别:
1.标准下降时在权值更新前汇总所有样例得到的标准梯度,随机下降则是通过考察每次训练实例来更新。
2.对于步长 η的取值,标准梯度下降的η比随机梯度下降的大。
因为标准梯度下降的是使用准确的梯度,理直气壮地走,随机梯度下降使用的是近似的梯度,就得小心翼翼地走,怕一不小心误入歧途南辕北辙了。
3.当E(w)有多个局部极小值时,随机梯度反而更可能避免进入局部极小值中。
四.代码及实例:
直接照着别人博客代码敲的一遍:http://blog.csdn.net/pennyliang/article/details/6998517
- /*
- * 随机梯度下降实验:
- * 训练集输入为矩阵:
- * 1,4
- * 2,5
- * 5,1
- * 4,2
- * 输出结果为:
- * 19
- * 26
- * 19
- * 20
- * 需要参数为theta:
- * ?
- * ?
- *
- * 目标函数:y=theta0*x0+theta1*x1;
- *
- *
- * */
- #include<stdio.h>
- int main()
- {
- double matrix[4][2]={{1,4},{2,5},{5,1},{4,2}};
- double result[4]={19,26,19,20};
- double theta[2]={0,0};//初始为零向量
- double loss=10.0;
- for(int i=0;i<100&&loss>0.001;i++)
- {
- double error_sum=0;
- int j=i%4;
- {
- double h=0;
- for(int k=0;k<2;k++)
- {
- h+=matrix[j][k]*theta[k];
- }
- error_sum=result[j]-h;
- for(int k=0;k<2;k++)
- {
- theta[k]+=0.01*(error_sum)*matrix[j][k];//这里是关键
- }
- }
- printf("%lf,%lf\n",theta[0],theta[1]);
- double loss=0;
- for(int j=0;j<4;j++)
- {
- double sum=0;
- for(int k=0;k<2;k++)
- {
- sum+=matrix[j][k]*theta[k];
- }
- loss+=(sum-result[j])*(sum-result[j]);
- }
- printf("%lf\n",loss);
- }
- return 0;
- }
/*
* 随机梯度下降实验:
* 训练集输入为矩阵:
* 1,4
* 2,5
* 5,1
* 4,2
* 输出结果为:
* 19
* 26
* 19
* 20
* 需要参数为theta:
* ?
* ?
*
* 目标函数:y=theta0*x0+theta1*x1;
*
*
* */
#include<stdio.h>
int main()
{
double matrix[4][2]={{1,4},{2,5},{5,1},{4,2}};
double result[4]={19,26,19,20};
double theta[2]={0,0};//初始为零向量
double loss=10.0;
for(int i=0;i<100&&loss>0.001;i++)
{
double error_sum=0;
int j=i%4;
{
double h=0;
for(int k=0;k<2;k++)
{
h+=matrix[j][k]*theta[k];
}
error_sum=result[j]-h;
for(int k=0;k<2;k++)
{
theta[k]+=0.01*(error_sum)*matrix[j][k];//这里是关键
}
}
printf("%lf,%lf\n",theta[0],theta[1]);
double loss=0;
for(int j=0;j<4;j++)
{
double sum=0;
for(int k=0;k<2;k++)
{
sum+=matrix[j][k]*theta[k];
}
loss+=(sum-result[j])*(sum-result[j]);
}
printf("%lf\n",loss);
}
return 0;
}
结果可以得出c0=3,c1=4。