机器学习(1.2)

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/Dove_forehead/article/details/79499611

机器学习 —— 模型和代价函数

Machine Learning —— Model & Cost Function


模型表示 Model Representation——简介

以监督学习中的线性回归举例,其中线性回归输入监督学习中的回归模型,目标是对连续样本数值进行预测和建模

  • Notation
    m –训练样本的个数
    x – 输入数据/特征
    y – 输出数据/目标数据

  • 训练数据
    (x,y)
    或者表示为:
    (x(i),y(i)) i表示第i个训练样本

  • 训练过程:
    训练过程
    Training Set -> Learning Algorithm ->h函数(hypothesis, 该假设函数的确定来源于x和y之间的映射关系)

  • h的表示形式:
    假设为一个变量的线性回归的情况下
    hθ(x)=θ0+θ1x


代价函数 Cost Function——定义

(题外话)代价函数 cost function, 损失函数 loss function和目标函数 object function 的简单说明
损失函数一般针对单个样本,计算单个样本预测值和实际值之间的差距

yif(xi)

代价函数一般针对整个总体,计算整个数据集损失函数的平均值
1Ni=1Nyif(xi)

每个算法都有一个目标函数,算法的目的是为了让该函数达到最优
1Ni=1Nyif(xi)+

已知训练集和假设函数hθ(x)=θ0+θ1x
接下来首先要确定假设函数中的θ0θ1θi为参数,θ的不同导致假设函数的不同
目标:选择θ0θ1,使得假设函数h尽可能的拟合训练数据,即hθ(x)尽可能的接近y

minθ0,θ112mi=1m(hθ(x(i))y(i))2

其中m为训练样本的容量,12m求平均从而尽量减少平均误差,(hθ(x(i))y(i))表示第i个样本的预测结果和真实结果之间的差,hθ(x(i))=θ0+θ1x(i)

代价函数定义(代价函数也称为平方误差函数squared error function,或者平方误差代价函数):

Cost Function:

J(θ0,θ1)=12mi=1m(hθ(x(i))y(i))2

minθ0,θ1 J(θ0,θ1))


代价函数——Cost Function I

Review

Hypothesis:

hθ(x)=θ0+θ1x

Parameters:

θ0, θ1

Cost Function:

J(θ0,θ1)=12mi=1m(hθ(x(i))y(i))2

Goal: minimizeθ0,θ1J(θ0,θ1)

Example

(用简单的假设函数了解代价函数的工作原理)

Hypothesis:

hθ(x)=θ1x

Parameters:

θ1

Cost Function:

J(θ1)=12mi=1m(hθ(x(i))y(i))2

Goal: minimizeθ1J(θ1)

真实图例:

  • θ1=0的情况下假设函数和代价函数图
    这里写图片描述
  • θ1=0.5的情况下假设函数和代价函数图
    这里写图片描述
  • 所有参数和代价函数的对应图
    这里写图片描述
    根据以上图例,我们得知,要取得代价函数的最小值,应该选择θ1=1的参数表示。

代价函数——Cost Function II

Example

(有两个参数情况下的假设函数以及代价函数)

Hypothesis:

hθ(x)=θ0+θ1x

Parameters:

θ0, θ1

Cost Function:

J(θ0,θ1)=12mi=1m(hθ(x(i))y(i))2

Goal: minimizeθ0,θ1J(θ0,θ1)

真实图例

  • 随机参数 θ 对应的图例
    这里写图片描述
  • θ0=360,θ1=0对应图例
    这里写图片描述
  • 相对接近代价函数最小值对应的图例
    这里写图片描述

Goal:找到一种算法,能够自动找到代价函数的最小值对应的参数。

展开阅读全文

没有更多推荐了,返回首页