机器学习（1.2）

机器学习 —— 模型和代价函数

Machine Learning —— Model & Cost Function

---

模型表示 Model Representation——简介

以监督学习中的线性回归举例，其中线性回归输入监督学习中的回归模型，目标是对连续样本数值进行预测和建模

• Notation
  m –训练样本的个数
  x – 输入数据/特征
  y – 输出数据/目标数据

• 训练数据
  $(x, y)$
  或者表示为：
  $(x^{(i)}, y^{(i)})$ $i$表示第$i$个训练样本

• 训练过程：
  
  Training Set -> Learning Algorithm ->h函数(hypothesis, 该假设函数的确定来源于x和y之间的映射关系)

• h的表示形式：
  假设为一个变量的线性回归的情况下
  $h_{\theta}(x)={\theta}_0+{\theta}_1x$

---

代价函数 Cost Function——定义

（题外话）代价函数 cost function, 损失函数 loss function和目标函数 object function 的简单说明
损失函数一般针对单个样本，计算单个样本预测值和实际值之间的差距

∣yi−f(xi)∣ ∣ y i − f ( x i ) ∣

$$\mid y_i - f(x_i)\mid$$
代价函数一般针对整个总体，计算整个数据集损失函数的平均值
$$\cfrac{1}{N}\cdot \sum_{i=1}^N\mid y_i - f(x_i)\mid$$
每个算法都有一个 目标函数，算法的目的是为了让该函数达到最优
$$\cfrac{1}{N}\cdot \sum_{i=1}^N\mid y_i - f(x_i)\mid+正则化项$$

已知训练集和假设函数$h_{\theta}(x)={\theta}_0+{\theta}_1x$
接下来首先要确定假设函数中的${\theta}_0$和${\theta}_1$，${\theta}_i$为参数，${\theta}$的不同导致假设函数的不同
目标：选择${\theta}_0$和${\theta}_1$，使得假设函数h尽可能的拟合训练数据，即$h_{\theta}(x)$尽可能的接近$y$

$$min_{\theta_0,\theta_1} \cfrac{1}{2m}\sum_{i=1}^m (h_\theta(x^{(i)})-y^{(i)})^2$$
其中m为训练样本的容量，$\cfrac{1}{2m}$求平均从而尽量减少平均误差，$(h_\theta(x^{(i)})-y^{(i)})$表示第i个样本的预测结果和真实结果之间的差，$h_\theta(x^{(i)})= \theta_0 +\theta_1x^{(i)}$

代价函数定义(代价函数也称为平方误差函数squared error function，或者平方误差代价函数)：

Cost Function:

$$J(\theta_0,\theta_1)= \cfrac{1}{2m}\sum_{i=1}^m (h_\theta(x^{(i)})-y^{(i)})^2$$
$$min_{\theta_0,\theta_1} \space J(\theta_0,\theta_1))$$

---

代价函数——Cost Function I

Review

Hypothesis：

$$h_{\theta}(x)={\theta}_0+{\theta}_1x$$

Parameters:

$$\theta_0, \space\theta_1$$

Cost Function:

$$J(\theta_0,\theta_1)= \cfrac{1}{2m}\sum_{i=1}^m (h_\theta(x^{(i)})-y^{(i)})^2$$

Goal: $minimize_{\theta_0, \theta_1}J(\theta_0,\theta_1)$

Example

(用简单的假设函数了解代价函数的工作原理)

Hypothesis：

$$h_{\theta}(x)={\theta}_1x$$

Parameters:

$$\theta_1$$

Cost Function:

$$J(\theta_1)= \cfrac{1}{2m}\sum_{i=1}^m (h_\theta(x^{(i)})-y^{(i)})^2$$

Goal: $minimize_{\theta_1}J(\theta_1)$

真实图例：

• $\theta_1=0$的情况下假设函数和代价函数图
  
• $\theta_1=0.5$的情况下假设函数和代价函数图
  
• 所有参数和代价函数的对应图
  
  根据以上图例，我们得知，要取得代价函数的最小值，应该选择$\theta_1=1$的参数表示。

---

代价函数——Cost Function II

Example

(有两个参数情况下的假设函数以及代价函数)

Hypothesis：

$$h_{\theta}(x)={\theta}_0+{\theta}_1x$$

Parameters:

$$\theta_0, \space\theta_1$$

Cost Function:

$$J(\theta_0,\theta_1)= \cfrac{1}{2m}\sum_{i=1}^m (h_\theta(x^{(i)})-y^{(i)})^2$$

Goal: $minimize_{\theta_0, \theta_1}J(\theta_0,\theta_1)$

真实图例

• 随机参数 $\theta$ 对应的图例
  
• $\theta_0=360, \theta_1=0$对应图例
  
• 相对接近代价函数最小值对应的图例
  

Goal：找到一种算法，能够自动找到代价函数的最小值对应的参数。