机器学习2--一次函数拟合的数学过程

参数引入(监督学习)


Hypothesis是假设函数,假设该函数的两个参数:y = θ1x + θ0,θ1是权重,θ0是偏置;取不同的参数会得到不同的函数图像。
由于是初学者,所以吴老师从最简单的一次函数模型开始介绍,后面我们入门后,难度应该会得到提高,逐渐到高次函数。
在这里插入图片描述
目的是选择合适的参数θ1x和θ0使得h(x)的值接近我们的训练样本的标签值。即尽量使h(x)与样本标签值y的差异小。注意,用(xi,yi)代表第i组样本

代价函数

概念方面不再详述,我们要知道代价函数的样子,不仅与训练集的有关,而且与参与优化过程的参数以及个数有关系,还与我们所选的模型有关系。
在这里插入图片描述在这里插入图片描述
训练模型目的:找到能使这个损失函数的值达到最小的时候所对应的θ1和θ0的值。θ1是权重,θ0是偏置。
我们把这种函数称之为代价函数(cost function),当然他只是其中的一种,它的真正名字叫做均方差函数
这里采用平方误差代价函数作为损失函数,因为它是解决回归问题的最常用的手段。
在这里插入图片描述
这是一个流程图。我们将其简化,这里我们把偏置值设为0,因为偏置值不会影权重值的变化情况。这样有助于简化计算。
在这里插入图片描述

单个参数优化拟合过程(θ0 = 0的情况下)

下图是参数拟合优化的过程
在这里插入图片描述
假设我们的数据集中只有三个样本,为了简化计算,我们将偏置值设为0,之后我们不断改变θ1的值,并求出对应的J值,重复若干次后,在J函数图上我们能得到当J取最小值的时候对应的θ1的值,这就是拟合效果最好的值。

容易得出,θ1与J()值的函数是一个碗装的图形,一眼就能看出损失函数最小值的坐标。
在这里插入图片描述
这里再次贴上均方差损失函数的公式,注意是代入所有样本值后求均值。

两个参数情况下的优化过程(θ1与θ0都参与优化过程)

在这里插入图片描述
这次优化,我们要保留θ1与θ0这两个参数。我们知道
Z = X^2 + Y ^2这个函数的图像是一个碗面,类似于这样在这里插入图片描述
但是为了更好的展示效果,我们不会使用三维曲面,我们要用等高线图来展现损失函数J。
在这里插入图片描述
这里我自己理解为,把上面的立体图投影到底面上,得到一个个椭圆形,每个椭圆上任意一点的J(θ1,θ0)的值都相同。(类比上面的Z = X^2 + Y ^2这个函数,意思是Z值相同)。
左侧的h(x)图像就是蓝色圈圈点的坐标值代入一次模型中的得到的函数。
我们发现拟合效果并不理想。接下来我们把点取得靠近中心一点,即很靠近Jmin的点。

在这里插入图片描述
发现拟合效果明显好了很多。
我们可以得出结论,点所在的椭圆越小,一阶模型的拟合效果越好,即代价函数值越小,我们得到的拟合函数越接近真实函数。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值