2.Regression

1.机器学习介绍

2.Regression

3.Bias and Variance

4.Gradient Descent

训练过程（三个步骤）：

1. 先写出一个有未知数的function，这个未知数以后我们都用 θ 来代表一个model里面所有的未知函数

2. 定义一个loss，loss是一个function，这个loss的输入是一组参数，去判断这一组参数好还是不好

3. 解一个optimization的problem，你要去找一个 θ – 可以使loss的最小，最小的定义为θ*

把θ* 用在测试资料上，也就是把 θ*带入fθ(x) 中未知的参数

这个Loss function 他是一个function 的 function，他就是吃一个function 当做input ，他的output 就是这个function 有多不好。

Loss function 可以根据你自己的喜好定义一个你觉得合理的function。

定义好Loss function 之后接下来要做的就是从 function set里面，挑选出一个最好的function（方法gradient descent）。

Negative -> Increase w

Positive -> Decrease w

接下来就是重复这一过程，直到local minimum。

如果模型有两个参数过程也是如此。

加入参数越多，training error会越小，但testing error可能会爆掉，即overfitting！

解决方法 ：regularization（正则化）

在做regularization时不用考虑 ‘b’ (上图红框中无b)