机器学习（一）线性回归 Linear Regression

线性回归是有监督学习，即给定样本属性和对应的标签，训练出线性函数的参数。

解决问题类型：

预测两类事物对相关性

e.g. 预测房价跟面积的关系 （单变量）

预测房价跟面积、楼层的关系 （多变量）

 

一、单变量线性回归（Linear Regression with One Veriable）

 

二、代价函数（Cost Function）

我们预测了线性函数的参数theta0 和theta1， 画出的线与具体的数据点之间的差距用 代价函数来表示。

代价函数：

（也称为 平方误差函数、平方误差代价函数）

我们的目标是获得让代价函数最小的时候的参数theta0 和theta1的值。

代价函数理解：

找的使得J(theta0,theta1)最小的点，此时的theta0和theta1是最优的

 

三、求代价函数最小的算法：梯度下降 （Gradient Descent）

 

 

 

四、多变量线性回归（Linear Regression with Multiple Variables）

 

代价函数：

梯度下降算法：

 

 

梯度下降实践1-----特征缩放（Feature Scaling）：

 

 

梯度下降实践2-----学习率（Learning Rate）：

 

 

 

五、正规方程（Normal Equation）

 

 

六、正则化（Regularization）

正则化可以解决过拟合问题（Over-fitting）

 

 

 

参考自： 吴恩达course视频