（学习笔记）回归

Regression(回归):predict continuous valued output.
步骤一：hypothesis function model
步骤二：模型评估（loss function损失函数）（cost function代价函数）
步骤三：模型优化。如何自适应优化的模型。（gradient descent梯度下降算法，normal equation正规方程）

linear regression model：
m = number of training examples
x’s = ‘input’ variable/features
y’s =‘output’ variable/‘target’ variable
(x,y) = one training example
L(f)为损失函数，
在线性回归模型中，损失函数为实际值y减去预测值h(θ)的平方在迭代求和，损失函数的目的就是找最优(损失函数的output为最小的时候)

梯度下降算法需要先给参数θ（比如θ0=0，θ1=0），再进行迭代改变θ使代价函数或者损失函数J(θ)减小到最小值。
缺点:会陷入局部优化，但是在线性回归没有局部优化问题。
Model Selection. 如果训练数据的特征值只有一个，如果拟合效果不好可以考虑一元n次模型，设计多个θj。一个越复杂的模型在训练集中会得到更低的误差，但在测试集中会得到不好的结果。这就是过拟合（overfitting）

Regularization(正则化)：