【Stanford机器学习笔记】1-Linear Regression with One Variable

1. Model Representation

单变量线性回归即假设函数中$h_\theta(x)$只包含一个特征变量x，加上一个偏差值bias，即只包含两个参数 $\theta_0$和$\theta_1$。

$$h_\theta(x)=\theta_0+\theta_1x$$ 监督分类的基本流程是将训练样本输入学习算法，通过训练得到最优参数 $\Theta$，最后得到假设函数 $h(x)$，然后用于回归预测。除了线性回归，还包括一些非线性回归，如指数、对数、多项式等。

2. Cost Function

代价函数J又叫误差平方函数，即所有样本的残差平方和。训练的目标是最小化代价函数，获取最优参数$\Theta$，代价函数公式如下：

$$J(\Theta)=\frac{1}{2m}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})^2$$ 目标函数是: $$min\ J(\Theta)$$

备注：整个课程中，除特殊说明，m都是指训练样本（training examples）的个数，n都是指特征的个数（feature），即特征维数（feature dimension）,i指的是第i个样本（ ith exam