梯度下降法(一）

   转载：http://blog.csdn.net/nupt123456789/article/details/8281923

   梯度下降法是一个一阶最优化算法，通常也称为最速下降法。我之前也没有关注过这类算法。最近，听斯坦福大学的机器学习课程时，碰到了用梯度下降算法求解线性回归问题，于是看了看这类算法的思想。今天只写了一些入门级的知识。

                              迭代算法描述如下：

我们知道，函数的曲线如下：

编程实现：c++ code

// 数值分析.cpp : 定义控制台应用程序的入口点。
//

#include "stdafx.h"


#include <iostream>
#include <math.h>
using namespace std;
int main()
{
	double e=0.000001;//定义迭代精度
	double alpha=0.05;//定义迭代步长
	double x=10;//初始化x
	double y0=x*x-3*x+2;//与初始化x对应的y值
	double y1=0;//定义变量，用于保存当前值
	while (true)
	{
		cout << "x="<< x <<" y="<<y0<< endl;
		x=x-alpha*(2.0*x-3.0);
		y1=x*x-3*x+2;
		if (abs(y1-y0)<e)//如果2次迭代的结果变化很小，结束迭代
		{
			break;
		}
		y0=y1;//更新迭代的结果
	}
	cout<<"Min(f(x))="<<y0<<endl;
	cout<<"minx="<<x<<endl;
	return 0;
}

当学习率alpha=0.05，x的初始值为10的时候，f(x)'>0，x 从右到左减少，结果：

当学习率alphao=0.1，x的初始值为-10的时候，f(x)'<0，x从左到右增加，结果为：