预测一个城市的房价
给了一些房价散点图,预测你的一个朋友的房子卖多少钱
1)我们先设计一个假设函数(下图中第一个函数)
2)确认其中参数为两个,θ1和θ0(下图中第二个)
3)平方差 代价函数(下图中第三个)
4)目标函数 J() (下图中第四行)
例子:当我们只有一个变量θ1时,根据上述流程,我们知道
当θ1取不同的值时,J()函数的值变化(体现在右图中),最后目标函数的确定是根据代价函数最小的θ1确定各参数的值
那么我们现在有两个变量,到底怎么去接近目标函数
根据θ0和θ1取值的不同,我们得到这样的一个三维图像,那么高度这个坐标就是J()函数的取值
一般我们会用等高线图进行展示
这样可以将代价函数J最小化的方法叫做梯度下降法
什么是梯度下降法
1、使用导数变小的定义,也就是某一个要确定的值得偏导数,进行确定下一步下降方向
2、一步步逼近局部最优解
下图左侧就是梯度下降法,右侧就是平方差代价函数,将梯度下降法用到平方差代价函数中,就是
最小化平方差代价函数
这叫做Batch 梯度下降