Lesson 2

有监督学习算法：

1. 线性回归（Linear Regression）

训练数据->训练算法->产生一个合理的假设（H）

我们如何使用训练数据产生一个合理的假设？

首先这个假设是已知形式的，然后我们通过训练数据估计其中的参数，估计得准则就是最小化平方误差。

最小化平方误差的方法：

1. Search Algorithm

Basic Idea is below:

n Start with some theta(say theta = vector 0)

n Keep changing theta to reduce J(theta) 

常用的算法：梯度下降法（Gradient Descent）

l Batch gradient descent

The term batch refers to the fact that on every step of gradient descent you're 

going to look at your entire training set. You're going to perform a sum over your M 

training examples.  

n Incremental gradient descent(当训练数据集很大的时候)

2. 要最小化J(theta)，直接对其进行矩阵求导等于零，即可得到theta，此方法不像上面的方法需要迭代。