机器学习Class 2：模型建立

目录

2-1 模型描述

1.数据集

2.假设函数

2-2 代价函数（Ⅰ）

2-3 代价函数（Ⅱ） 

2-4 代价函数（Ⅲ）

2-5 梯度下降(Ⅰ)

2-6 梯度下降（Ⅱ）

2-7 线性回归的梯度下降

---

2-1 模型描述

以俄勒冈州波特兰市房屋价格为例：

1.数据集

房屋大小（x）	价格（y）
2104	460
1416	232
1534	315
852	178

m=训练样本数量

x=输入变量/特征

y=输出变量/特征

(x,y)=一个训练样本

(x(i)，y(i))=第i个训练样本

2.假设函数

学习算法给出一个假设函数，通过给定输入值，得到相应的输出。

代价函数： h_Θ(x)=Θ_0+Θ_1        

2-2 代价函数（Ⅰ）

Θ定义为模型参数，找到最合适的Θ_0和Θ_1，使直线与数据点更好的拟合。

θ_0和θ_1取不同值时，其拟合曲线如下:

平方误差代价函数（解决回归问题的常用手段）

 代价函数：

目标： 

2-3 代价函数（Ⅱ） 

 简化：当Θ_0=0时，h(x)=Θ_1*x

例1：当Θ_1=1时

(x1,y1)=(1,1)，(x2,y2)=(2,2)，(x3,y3)=(3,3)

J(Θ1)=0 ，即J(1)=0

例2：当Θ_1=0.5时

(x1,y1)=(1,0.5)，(x2,y2)=(2,1)，(x3,y3)=(3,1.5)

J(Θ1)=3.5/6 ≈0.68，即J(0.5)=0.68

例3：当Θ_1=0时

(x1,y1)=(1,0.5)，(x2,y2)=(2,1)，(x3,y3)=(3,1.5)

J(Θ1)=3.5/6 ≈0.68，即J(0.5)=0.68

最终将得到J(Θ1)的图像，其图像最小值为(1,0)的二次函数，当Θ_1=1时，J(Θ1)最小。

最终J(θ_1)图像如下：

 由图像可知，θ_1最优值为1。

2-4 代价函数（Ⅲ）

给定一个较为复杂的数据集

设h(x)=50+0.06x， 可得到J(Θ)为一个碗状曲面图

 我们利用等高线图来表示J(Θ)

左图为假设函数曲线，右图红点处为代价函数曲线 。

2-5 梯度下降(Ⅰ)

 需要解决的问题：有一些代价函数J(Θ_1,Θ_2)，我们希望得到Θ_1，Θ_2的值使J(Θ_1,Θ_2)最小。

解题步骤：给定Θ_1，Θ_2的初值（通常都设为0）

例如：

 该三维图高度即为J(Θ1,Θ2)的取值。设Θ1，Θ2初值为0，梯度下降法会一步一步进入局部最优值处。

梯度下降法：

(:=为赋值，ɑ学习率，控制梯度下降速度)

Θ1，Θ2必须同步更新

 

2-6 梯度下降（Ⅱ）

 设J(Θ1)(Θ1为实数)

根据梯度下降法可得：Θ1:=Θ1-ɑ*正数（因为Θ1点处斜率为正，即梯度下降中的导数项），使Θ1的值不断减小，在数轴上向左移，更接近J（Θ1）图像的谷值。

 相反，当Θ1位于如上图所示位置时，根据梯度下降法，Θ1在不断增大。

若ɑ设置过小，Θ1下降速度较慢；反之，Θ1下降速度较快，但有可能越过谷值。

当Θ1位于局部最优点时，J(Θ1)的值将不再改变，因为导数项(斜率)为0 ，完成了需要解决的问题。

2-7 线性回归的梯度下降

将梯度下降法应用到线性回归模型中。

线性回归优化只含有一个全局最优值