机器学习笔记（一）-Regression

机器学习，就是让计算机根据已知的训练数据，回归出预测函数，然后根据函数对未知情况进行预测。

定义：

机器学习，指程序员不显式地（explicitly）编写程序，而是让程序尝试从已知数据中学习规律，并作出预测。

机器学习，Based on experience E and measurement of performance P, the program try to solve the task T.

Regression中，最简单的是单个变量的线性回归，通过Gradient Decrease的迭代使得整个Cost Function的总和最小。

较为复杂的是多变量线性回归，原理相同，不同的是需要求各个分变量的偏导数，再进行Gradient Decrease迭代，从而找到Global Optimization。

与Gradient Decrease相对应的是Normal Function求解。

Overfitting

我们选取的Hypothesis Fuction的参数值过多，导致Cost Function可能等于零。

噪音对回归预测的影响过大。