目录
2-1 模型描述
以俄勒冈州波特兰市房屋价格为例:
1.数据集
房屋大小(x) | 价格(y) |
2104 | 460 |
1416 | 232 |
1534 | 315 |
852 | 178 |
m=训练样本数量
x=输入变量/特征
y=输出变量/特征
(x,y)=一个训练样本
(x(i),y(i))=第i个训练样本
2.假设函数
学习算法给出一个假设函数,通过给定输入值,得到相应的输出。
代价函数: h_Θ(x)=Θ_0+Θ_1
2-2 代价函数(Ⅰ)
Θ定义为模型参数,找到最合适的Θ_0和Θ_1,使直线与数据点更好的拟合。
θ_0和θ_1取不同值时,其拟合曲线如下:
平方误差代价函数(解决回归问题的常用手段)
代价函数:
目标:
2-3 代价函数(Ⅱ)
简化:当Θ_0=0时,h(x)=Θ_1*x
例1:当Θ_1=1时
(x1,y1)=(1,1),(x2,y2)=(2,2),(x3,y3)=(3,3)
J(Θ1)=0 ,即J(1)=0
例2:当Θ_1=0.5时
(x1,y1)=(1,0.5),(x2,y2)=(2,1),(x3,y3)=(3,1.5)
J(Θ1)=3.5/6 ≈0.68,即J(0.5)=0.68
例3:当Θ_1=0时
(x1,y1)=(1,0.5),(x2,y2)=(2,1),(x3,y3)=(3,1.5)
J(Θ1)=3.5/6 ≈0.68,即J(0.5)=0.68
最终将得到J(Θ1)的图像,其图像最小值为(1,0)的二次函数,当Θ_1=1时,J(Θ1)最小。
最终J(θ_1)图像如下:
由图像可知,θ_1最优值为1。
2-4 代价函数(Ⅲ)
给定一个较为复杂的数据集
设h(x)=50+0.06x, 可得到J(Θ)为一个碗状曲面图
我们利用等高线图来表示J(Θ)
左图为假设函数曲线,右图红点处为代价函数曲线 。
2-5 梯度下降(Ⅰ)
需要解决的问题:有一些代价函数J(Θ_1,Θ_2),我们希望得到Θ_1,Θ_2的值使J(Θ_1,Θ_2)最小。
解题步骤:给定Θ_1,Θ_2的初值(通常都设为0)
例如:
该三维图高度即为J(Θ1,Θ2)的取值。设Θ1,Θ2初值为0,梯度下降法会一步一步进入局部最优值处。
梯度下降法:
(:=为赋值,ɑ学习率,控制梯度下降速度)
Θ1,Θ2必须同步更新
2-6 梯度下降(Ⅱ)
设J(Θ1)(Θ1为实数)
根据梯度下降法可得:Θ1:=Θ1-ɑ*正数(因为Θ1点处斜率为正,即梯度下降中的导数项),使Θ1的值不断减小,在数轴上向左移,更接近J(Θ1)图像的谷值。
相反,当Θ1位于如上图所示位置时,根据梯度下降法,Θ1在不断增大。
若ɑ设置过小,Θ1下降速度较慢;反之,Θ1下降速度较快,但有可能越过谷值。
当Θ1位于局部最优点时,J(Θ1)的值将不再改变,因为导数项(斜率)为0 ,完成了需要解决的问题。
2-7 线性回归的梯度下降
将梯度下降法应用到线性回归模型中。
线性回归优化只含有一个全局最优值